国开《大数据技术导论》实验3 网页数据获取辅导资料

实验3 网页数据获取
数据获取是数据生命周期中的第一个环节，数据抽取过程是搜索全部数据源，按照某种标准选择合乎要求的数据，并将其进行适当的格式转换之后，传送到目的地中存储。为了克服被抽取的数据源分布广泛、异构、非结构化等问题，数据抽取技术和抽取工具应运而生。学习数据科学与大数据技术不仅需要掌握其理论，更重要的是能够运用工具和方法来完成数据的获取。
1.实验目的
通过网页数据获取的实验，学生可以理解网络爬虫的工作过程，掌握网页数据获取的方法，并能够灵活运用，进而解决网页数据获取的实际问题。
2.实验要求
理解爬虫软件的原理与方法，独立完成网页数据获取的实验，主要内容如下。
（1）前嗅ForeSpider爬虫软件安装。
（2）选择频道。
（3）网页数据采集过程。
3.实验内容
（1）制订实验计划。
（2）完成爬虫软件安装。
（3）选择网页。
（4）完成爬虫软件数据采集过程。
4.实验总结
通过本实验，使学生了解爬虫软件的特点、总体结构和分类，理解爬虫软件程序的执行过程，掌握应用爬虫软件获取网页数据的方法。
5.思考拓展
（1）结合爬虫软件的结构说明其主要功能。
（2）通过举例，说明csv格式文件的特点。
（3）应用前嗅ForeSpider爬虫软件能够采集非结构化数据吗？为什么？
（4）我们能够在网络上爬取什么数据？