2026年春江苏开放大学NoSQL数据库技术060751综合性大作业：二手房交易数据分析系统

1.实践目标

MongoDB数据库的应用场景十分广泛，本案例将利用MongoDB+Spark+Java Web技术开发二手房交易数据分析系统，用于对二手房交易数据进行分析并展示。

2.实验内容

本案例所需的数据是来源于二手房交易网站，该网站中包含了众多房源的详细信息。在本案例中，我们通过WebMagic（Java爬虫框架）编写网络爬虫程序，采集北京市二手房交易数据，将采集的数据存储到MongoDB数据库中。当数据采集完成后，利用Spark计算框架读取MongoDB中存储的二手房交易数据，并进行离线分析，最后将分析结果存储到MongoDB数据库中。为了可以更加直观的查看分析结果，我们通过Web系统获取MongoDB数据库中存储的分析结果，实现数据的可视化。

3.实践操作

1、Spark计算框架

（1）SSH免密登录配置

（2）下载并安装JDK

（3）Hadoop集群搭建

2、模块开发-构建项目结构

（1）创建工程

（2）构建项目架构

（3）添加依赖

（4）创建数据库配置文件

3、模块开发-数据采集

（1）分析网页数据结构

（2）实现网络数据采集

（3）存储网络采集数据

4、模块开发-数据分析

（1）创建工具类

（2）创建数据库操作类

（3） 实现数据分析

（4） 运行数据分析程序

5、模块开发-数据展示

（1）创建实体类

（2）修改数据库操作类

（3）创建Servlet类

（4）创建JSP文件

（5）配置web.xml文件

（6）配置Tomcat服务器

6.完成实验报告

见附件模板