国开《大数据技术导论》实验2 Hadoop开发环境部署署辅导资料

实验2 Hadoop开发环境部署
Hadoop是一个能够对大数据进行分布式处理的软件架构，其可以通过可靠、高效、可伸缩的方式进行数据处理。Hadoop技术是推动大数据应用的重要引擎之一，可以使用该技术收集、清洗和分析大量结构化、半结构化和非结构化数据。运行环境部署是一项技术要求较高，但必须掌握的技术。Hadoop是大数据分布式处理平台，在大数据离线处理方面，尤其是批处理中得到了广泛的应用。
1.实验目的
通过Hadoop环境部署实验练习，学生可以掌握Hadoop系统安装方法、伪分布式Hadoop的安装方法和Eclipse开发环境的安装具体过程与使用方法，并能够灵活运用，进而为解决大数据分析问题奠定环境构建与部署的基础，不仅为后续的基于Hadoop环境的各个实验建立基础，而且可以提高工程实践能力。
2.实验要求
在理解本实验相关理论的基础上制订安装计划，独立完成Hadoop开发环境部署过程，主要内容如下所述。
（1）制订安装计划。
（2）安装SSH协议。
（3）安装OpenJDK1.8开发环境。
（4）Hadoop系统部署。
（5）伪分布式Hadoop环境部署。
（6）Eclipse开发环境的安装。
3.实验内容
（1）制订实验计划。
（2）完成SSH协议安装。
（3）完成OpenJDK 1.8安装。
（4）完成Hadoop系统部署。
（5）完成伪分布式Hadoop环境部署。
（6）完成Eclipse开发环境的安装。
4.实验总结
通过本实验，使学生了解Hadoop的特点和总体结构，理解MapReduce程序的执行过程，掌握伪分布式Hadoop的安装方法和Eclipse开发环境的安装与使用方法。
5.思考拓展
（1）为什么需要安装SSH协议？说明SSH协议功能及安装方法。
（2）为什么需要安装OpenJDK1.8软件？说明OpenJDK1.8功能及安装方法。
（3）结合MapReduce程序执行过程，说明其并行处理的特性。
（4）结合Hadoop的处理过程，说明其离线处理特点。
（5）说明分布式Hadoop处理与伪分布式Hadoop处理的区别。
（6）说明Eclipse开发环境的优势。