网络爬虫实验报告

一、实验目的

二、网络爬虫的结构

1. 发送请求：向目标网站发送HTTP请求，获取网页内容。

2. 接收响应：处理从目标网站返回的响应数据。

3. 数据解析：从响应中提取出需要的数据。

4. 数据存储：将提取到的数据保存到本地文件或数据库中。

三、实验环境

• 编程语言：Python

• 主要库：requests、BeautifulSoup、os

四、代码实现

五、数据来源

六、数据解析的方式

1. 创建 BeautifulSoup 对象：将获取的HTML文本传入 BeautifulSoup。

2. 提取数据：根据HTML标签（如 h1、p 等）查找并提取需要的数据。在本例中，我们提取所有的 <h1> 标签的文本内容。

七、数据的本地组织和存储方式

• 文件存储：爬取的数据以文本文件的形式存储在本地。

• 目录结构：创建一个名为 scraped_data 的文件夹，所有爬取的结果保存在该文件夹内的 titles.txt 文件中。

八、实验结果

九、总结与反思

• 合法性：遵循网站的爬虫政策，避免对目标网站造成负担。

• 数据清洗：提取的数据可能需要进一步处理，以满足实际应用需求。

• 异常处理：在网络请求中，需要增加异常处理机制，以提高爬虫的健壮性。