本资源为燕山大学大数据三级项目，包括项目报告（英文版）和源码（可直接在虚拟机上运行），实现了新闻聚类和新闻分类。利用hadoop、spark和scala。其中有参考文件为如何在虚拟机上将scala文件提交到spark中 ；源码test.scala实现了新闻聚类，里面有分词（需要安装两个jar包），特征提取，利用kmeans聚类。output.libsvm为老师给的数据集的特征提取，就是spark官网上的代码总是读取libsvm，利用这个可直接读取，进行分类；分类有朴素贝叶斯和逻辑回归其中朴素贝叶斯准确率较高，逻辑回归准确率较低。navie为朴素贝叶斯源码，classify为逻辑回归源码。

本资源为燕山大学大数据实验报告，包括四个实验hadoop和spark下载，使用mllib实现线性回归算法，使用mllib实现支持向量机算法，使用mllib实现支持k-means算法。其中支持向量机算法求解了recall,precision，f1-score和accracy来实现算法评估。 ### 大数据分析实验报告知识点概览 #### 实验一：Hadoop与Spark环境构建及应用开发 ##### 实验目的与要求 本实验旨在使学生掌握Hadoop与Spark环境的搭建方法，并能正确启动Spark服务流程，进而实现Spark应用程序并确保其正常运行。 1. **Hadoop与Spark环境构建**： - 要求学生能够独立完成Hadoop与Spark环境的安装配置。 - 学生需具备启动Hadoop与Spark服务的能力。 2. **Spark应用开发**： - 学生应能够编写并运行简单的Spark应用程序。 - 通过实践加深对Spark工作原理的理解。 ##### 实验环境与软件配置 - **虚拟机平台**：VMware Workstation Pro 16 - **操作系统**：Ubuntu 14.04 Server (AMD64) - **JDK版本**：1.8 - **Scala版本**：2.12.6 - **Hadoop版本**：2.7.7 - **Spark版本**：2.4.4 (含Hadoop 2.7) ##### 实验内容 - 在Linux系统或虚拟机上安装配置Hadoop与Spark环境，并启动相应的守护进程。 - 使用Spark实现WordCount程序的开发与运行。 1. **数据准备**： - 输入数据：`input.txt` 2. **代码实现**： ```scala import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.log4j.{Level, Logger} object WordCount { def main(args: Array[String]): Unit = { Logger.getLogger("org").setLevel(Level.OFF) val conf = new SparkConf().setAppName("WordCount").setMaster("local[*]") val sc = new SparkContext(conf) val input = sc.textFile("file:/home/liqing/桌面/input.txt") val words = input.flatMap(line => line.split(" ")) val wordCounts = words.map(word => (word, 1)).reduceByKey(_ + _) val result = wordCounts.collect() result.foreach(println) sc.stop() } } ``` 3. **测试结果**： - 访问Hadoop集群管理界面：`192.168.37.146:50070` - 访问Spark UI：`192.168.37.146:8080` - WordCount程序运行结果展示。 由于WordCount程序不涉及分类或回归任务，因此无法用Precision、Recall等指标进行评估。 #### 实验二：使用Spark MLlib实现线性回归算法 ##### 实验目的与要求 1. **理解线性回归的基本原理**：要求学生能够准确理解线性回归算法的基本原理。 2. **实现线性回归算法**：要求学生能够利用Spark MLlib实现基本的线性回归算法，并进行实际数据集上的训练与测试。 ##### 实验内容 1. **数据准备**：准备用于训练和测试的样本数据集。 2. **模型训练**：利用Spark MLlib提供的API实现线性回归模型训练过程。 3. **模型评估**：使用测试集数据对训练好的模型进行评估，计算准确率、精确率、召回率以及F1分数等指标。 本实验报告通过Hadoop与Spark环境的构建、WordCount程序的实现，以及基于Spark MLlib的线性回归算法的实现与评估，全面涵盖了大数据处理与分析的核心技术要点。学生在完成这些实验后，将对Hadoop、Spark及其机器学习库有更深入的认识与理解。

在当前的数字化时代，电商平台面临着海量数据的处理挑战，如何从这些数据中挖掘价值并提供个性化的用户体验成为了关键。基于Hadoop和Spark的个性化推荐系统是解决这一问题的有效方案。这个项目实战旨在深入理解大数据处理技术和推荐系统的核心原理，通过实际操作提升分析和构建推荐系统的能力。 **Hadoop** 是一个开源的分布式计算框架，它允许在廉价硬件上处理大规模数据。Hadoop主要由两个核心组件组成：Hadoop Distributed File System (HDFS) 和 MapReduce。HDFS提供了高容错性的分布式存储，而MapReduce则为大规模数据集的并行处理提供了编程模型。在这个项目中，Hadoop将用于存储和预处理电商大数据，例如用户行为日志、商品信息等。 **Spark** 是一种快速、通用且可扩展的大数据处理引擎，它在内存计算方面表现优秀，比Hadoop更高效。Spark提供了更丰富的数据处理API，包括DataFrame和Spark SQL，使得数据科学家和工程师可以更便捷地进行数据分析和机器学习任务。在推荐系统中，Spark可用于执行协同过滤、基于内容的推荐或深度学习模型训练，以实现用户和商品之间的精准匹配。 推荐系统主要分为两大类：**基于内容的推荐** 和 **协同过滤推荐**。前者依赖于用户的历史行为和商品的属性，通过比较新商品与用户过去喜欢的商品之间的相似性来进行推荐。后者则是通过分析大量用户的行为模式，找出具有相似兴趣的用户群体，然后将某一群体中一部分人喜欢的但另一部分人还未发现的商品推荐给他们。 在这个电商大数据项目中，我们需要使用Hadoop的MapReduce对原始数据进行预处理，如清洗、转换和聚合。接着，将预处理后的数据导入Spark，利用Spark的DataFrame和Spark SQL进行数据探索和特征工程，构建用户和商品的画像。然后，可以运用Spark MLlib库中的协同过滤算法，或者使用TensorFlow、PyTorch等深度学习框架在Spark上构建神经网络模型，训练推荐模型。根据模型预测结果生成个性化推荐列表，并实时更新以适应用户行为的变化。 为了适应B2B（企业对企业）和B2C（企业对消费者）的不同场景，推荐系统需要考虑不同的推荐策略。B2B推荐可能更多地关注商品的兼容性、业务合作等因素，而B2C则侧重于用户个人喜好和购买历史。因此，在项目实施过程中，需要针对这两种情况设计不同的评价指标和优化目标。 基于Hadoop和Spark的个性化推荐系统项目涵盖了大数据处理、分布式计算、机器学习以及推荐系统等多个领域的知识。通过实践，我们可以深入了解这些技术在实际电商应用中的作用，同时提升解决复杂问题的能力。

随着互联网与移动互联网迅速蒲剧，网上电影娱乐信息数量相当庞大，人们对获取感兴趣的电影娱乐信息的需求越来越大，对电影口碑的要求也逐渐升高。如何给用户可靠的电影推荐结果，并保证用户能满意推荐系统推荐的电影是系统需要满足的一个重要条件。本文电影评分预测系统使用hadoop与centos7搭建的虚拟机系统，mapreducer处理网络爬虫获取的豆瓣热播电影，并对电影进行排序以及可视化。本系统最主要是对未上映的电影进行评分预测，给予消费者更多的权益，使消费者获得更好的观影感受，商家也可以根据消费者喜好合理安排电影场次。该系统设计的预测未上映电影评分与上映后的评分进行比较，分数比较接近，电影评分预测系统设计成功。 ### 基于Hadoop的电影可视化系统设计与实现 #### 1. 绪论 ##### 1.1 目的和意义 随着互联网技术的快速发展，尤其是移动互联网的普及，人们获取信息的方式发生了翻天覆地的变化。电影作为重要的文化娱乐产品之一，其在线上的传播变得越来越广泛。在海量的信息面前，如何快速找到感兴趣的电影，成为了一个迫切需要解决的问题。此外，随着观众对电影品质要求的提高，传统的推荐系统已经难以满足用户需求。因此，构建一个基于Hadoop的电影评分预测系统具有重要的现实意义。 本文旨在通过建立一套高效的数据处理平台，利用Hadoop分布式计算框架处理大规模的电影数据，实现对未上映电影的评分预测功能，从而为用户提供更精准的电影推荐服务，同时也为电影院线提供决策支持，帮助他们更好地理解市场趋势，合理规划排片。 ##### 1.2 研究现状 当前，电影推荐系统主要依赖于用户的历史行为数据，如观看记录、评分等，来推测用户的兴趣偏好。然而，对于未上映的电影，缺乏足够的历史数据进行准确预测。现有的研究大多集中在已有的电影数据上，而对于新上映或即将上映的电影的评分预测较少涉及。此外，大部分推荐系统侧重于算法的优化，而忽略了数据预处理的重要性，尤其是在大数据环境下。 ##### 1.3 设计目标 本系统的开发旨在实现以下几个目标： 1. **数据采集**：利用网络爬虫技术抓取豆瓣网站上关于电影的基本信息及用户评价。 2. **数据处理**：采用Hadoop分布式计算框架处理大量数据，确保数据处理的速度和效率。 3. **预测模型**：建立有效的评分预测模型，对未上映电影进行评分预测。 4. **可视化展示**：通过图表等方式将预测结果直观地呈现给用户，提高用户体验。 5. **推荐机制**：根据用户偏好和评分预测结果，为用户提供个性化的电影推荐服务。 #### 2. 项目分析 ##### 2.1 需求分析 为了更好地满足用户需求，本系统需要具备以下功能： - **电影信息查询**：用户可以根据名称、导演、演员等关键字搜索电影信息。 - **用户偏好推荐**：系统应能够根据用户的历史行为数据，为用户推荐感兴趣的电影。 - **评分预测**：对未上映的电影进行评分预测，为用户提供参考依据。 - **数据可视化**：通过图表等形式展示热门电影排名、评分分布等信息。 ##### 2.2 可行性分析 ###### 2.2.1 市场可行性 目前市场上虽然存在各种类型的电影推荐系统，但针对未上映电影的评分预测尚处于起步阶段。因此，本项目的推出有望填补这一空白，具有较高的市场需求和发展潜力。 ###### 2.2.2 技术可行性 - **Hadoop**：Hadoop是一个开源软件框架，用于存储和处理大型数据集。它能够有效地处理海量数据，适用于本系统的大规模数据处理需求。 - **CentOS 7**：作为一种稳定的Linux发行版，CentOS 7可以作为Hadoop集群的操作系统基础，为系统提供稳定可靠的运行环境。 - **MapReduce**：作为Hadoop的核心组件之一，MapReduce负责数据的并行处理，适合处理大量数据的场景。 ##### 2.3 受众分析 本系统的受众主要包括两部分：一是普通用户，他们希望获得精准的电影推荐和评分预测；二是电影院线管理者，他们希望通过该系统了解市场趋势，为排片决策提供依据。 ##### 2.4 功能分析 - **电影信息查询**：用户可以通过输入关键词快速查找电影信息，包括电影名称、导演、主演等。 - **用户偏好推荐**：根据用户的历史观看记录和评分记录，结合评分预测模型，为用户提供个性化的电影推荐。 - **评分预测**：对于未上映的电影，系统能够利用训练好的预测模型，基于相似电影的历史数据，预测其可能的评分。 - **数据可视化**：系统提供多种数据可视化工具，帮助用户更直观地了解电影评分分布、热度变化等信息。 通过上述分析，可以看出，基于Hadoop的电影可视化系统不仅能够解决现有推荐系统中存在的问题，还能为用户提供更加精准的服务，具有较高的实用价值和研究意义。

学生端模块功能设计： 个人信息模块：基本信息、修改账户密码、注销账号等 体测报告模块：在系统中录入体测数据生成体质报告 体态分析模块：身高体重视图、风险预警等 智能体测模块：线下体测，线上录入、历年数据对比分析、个性化定制运动处方及营养建议 运动锻炼模块：根据体质健康测试结果，生成专属运动提升计划、运动锻炼成果数据显示 在线课程库模块：提供体育线上教学视频供学生学习 健康知识模块：提供运动相关理论知识、运动损伤紧急处理方法、运动健康知识、营养餐饮建议等 教师端模块功能设计： 个人信息管理：个人信息、修改密码等 班级体测数据管理模块：增删改查学生的体质健康数据 体测分析模块：班级性别比例、年龄分布、成绩分布等视图 运动课程模块：上传运动教学视频等 管理员端模块功能设计： 管理用户账号：管理员负责注册审核、权限控制，以及处理账号相关的问题和请求。 学生信息管理：管理员可以查看和编辑学生的个人信息，包括基本信息、身份验证等。 体测数据管理： 录入和管理体测数据：管理员负责录入学生的体测数据，确保数据的准确性和完整性。 数据分析与报告生成：管理员可以对体测数据进行分析，生成班级........

《基于Hadoop Spark奥运会奖牌变化大数据分析实现毕业源码案例设计》 在这个项目中，我们探讨了如何利用Hadoop和Spark两大核心技术进行大规模数据处理和分析，具体应用于奥运会奖牌变化的历史数据。Hadoop是Apache软件基金会开发的分布式文件系统，而Spark则是一个用于大数据处理的快速、通用且可扩展的开源框架。两者结合，为大数据分析提供了强大的工具。 我们需要理解Hadoop的核心组件：HDFS（Hadoop Distributed File System）和MapReduce。HDFS是一种高容错性的分布式文件系统，能够处理和存储海量数据。MapReduce是Hadoop用于并行计算的编程模型，通过“映射”和“化简”两个阶段，将任务分解到集群中的各个节点上执行，然后收集结果。 在本项目中，我们使用Hadoop的HDFS来存储奥运会奖牌变化的大量历史数据。这些数据可能包括历届奥运会的年份、举办城市、参赛国家、获得奖牌的运动员等信息。HDFS的分布式特性使得数据存储和访问效率大大提高，同时保证了数据的安全性和可靠性。 接着，我们引入Spark进行数据处理和分析。Spark相比于Hadoop MapReduce，具有更快的计算速度，因为它在内存中进行计算，减少了磁盘I/O操作。Spark提供了RDD（Resilient Distributed Datasets）的概念，这是一种弹性分布式数据集，可以高效地执行各种计算任务，如转换和动作。 在分析奥运奖牌变化的过程中，我们可能使用Spark的SQL模块（Spark SQL）对数据进行结构化查询，通过JOIN、GROUP BY等操作来统计各国的奖牌总数或奖牌趋势。此外，Spark Streaming可用于实时处理奥运会期间不断更新的奖牌数据，提供最新的奖牌排行榜。 此外，该项目可能还涉及机器学习库MLlib，用于预测未来的奖牌趋势或者分析奖牌获取与国家经济、人口等因素之间的关系。MLlib提供了丰富的机器学习算法，如线性回归、逻辑回归、聚类等，可以帮助我们挖掘数据背后的模式和规律。 在毕业设计的实现过程中，开发者需要编写Python或Scala代码，利用Hadoop和Spark的API进行数据处理。同时，为了保证代码的可读性和可维护性，良好的编程规范和注释也是必不可少的。完整的项目应该包含详细的文档，解释设计思路、实现过程以及结果分析。 这个毕业设计案例展示了Hadoop和Spark在大数据分析领域的应用，通过分析奥运会奖牌变化，我们可以学习到如何利用分布式计算技术处理大规模数据，并从中提取有价值的信息。这对于理解和掌握大数据处理技术，以及在未来的人工智能领域中应用这些技术，都是非常有益的实践。

内容概要：本文详细介绍了使用Hadoop框架实现数据去重、TopN计算以及倒排索引的具体步骤和技术细节。对于数据去重，描述了创建Map和Reduce任务以及配置Job参数来去除重复记录。在TopN计算部分，通过编写自定义的Map和Reduce函数筛选前五条最高频的数据记录。对于倒排索引，除了Map和Reduce组件外还增加了Combine功能提升性能，最终成功实现了倒排索引的功能并展示了结果存储。 适用人群：对分布式计算有兴趣的学习者和有一定Java编程经验的大数据分析初学者。 使用场景及目标：旨在为希望深入理解Hadoop及其应用程序的读者提供具体操作指南，帮助他们掌握利用Hadoop进行常见文本处理技巧的方法。 其他说明：本实验环境搭建于本地Linux环境下，所有测试用例均为人工构造的小规模数据集以便快速验证各步骤的效果。

《Hadoop大数据技术原理与应用（第2版）》涵盖了Hadoop大数据框架的核心原理和应用实践。书中首先介绍了Hadoop的基本概念，包括数据的分类和Hadoop的核心特性。Hadoop能够处理半结构化数据和非结构化数据，支持多样、低价值密度、高速的大数据环境，并以Nutch为例，展示了其高容错性、高效率、高扩展性的特点。Hadoop之所以成为低成本、高可靠性和高容错性的大数据处理解决方案，归功于其设计中的低成本性、数据的多副本存储、故障自动恢复机制、高效的并行计算能力和良好的扩展性。 在部署Hadoop集群方面，书中阐述了不同模式的区别。本地模式用于模拟集群环境，而伪分布式模式和完全分布式模式则分别适合单机多JVM和多机多JVM环境的部署需求。部署时，Hadoop集群的启动脚本、配置文件格式化以及端口号设置是基本操作。 在HDFS分布式文件系统一章中，Hadoop通过NameNode、Fsimage、NameSpace等核心组件确保了文件系统的稳定运行。HDFS的健壮性得到了心跳机制、副本机制、数据完整性校验、安全模式和快照等特性的保障。在处理写文件的流程中，Hadoop设计了分块策略和数据传输管道来优化数据存储和读写效率，从而支持大规模数据集的高效处理。 综合来看，Hadoop作为大数据处理框架，通过其分布式架构，实现了数据存储、处理的高可靠性和扩展性。Hadoop的主要优点包括低成本、高可靠性、高容错性、高效率和高扩展性。其运行原理涉及多个组件和机制，如NameNode管理元数据、心跳机制保障节点健康、副本机制和数据完整性校验确保数据安全，以及HDFS的健壮性机制等。在部署Hadoop时，需要注意其不同的运行模式和配置细节，以便更好地管理集群环境。HDFS的读写流程则体现了Hadoop在数据处理上的高效性。总体而言，这本书为读者提供了一个全面了解和应用Hadoop大数据技术的途径。

一．实验内容 HBase编程实践： 1）在Hadoop基础上安装HBase； 2）使用Shell命令（create:创建表 、list:列出HBase中所有的表信息、put:向表、行、列指定的单元格添加数据等）；使用HBase常用Java API创建表、插入数据、浏览数据。 二．实验目的 1、理解HBase在Hadoop体系结构中的角色。 2、熟练使用HBase操作常用的Shell命令。 3、熟悉HBase操作常用的JavaAPI。 三．实验过程截图及说明 1、安装HBase （1）解压HBase文件到/usr/local目录下，并将目录改名为hbase： ### HBase编程实践知识点 #### 一、HBase在Hadoop体系结构中的角色 HBase是一种分布式的、可扩展的大规模数据存储系统，它构建在Hadoop之上，特别是在Hadoop Distributed File System (HDFS)之上。HBase为结构化数据提供了一个高性能、可伸缩的存储解决方案。它支持海量数据的随机读写操作，并且能够处理PB级别的数据量。HBase的核心设计原则之一是提供高吞吐量的数据访问能力，使其特别适合于实时数据查询场景。 1. **角色定位**： - **数据库功能**：HBase虽然建立在HDFS之上，但它更像是一个数据库而非文件系统，它支持表的概念，允许用户进行行级别的读写操作。 - **数据模型**：HBase采用了列族的数据模型，这使得它可以高效地存储和检索大规模稀疏数据集。 - **高可用性和容错性**：HBase具有自动的故障恢复机制，可以在节点失败时继续提供服务。 - **实时读写**：HBase支持快速的数据读取和写入操作，这对于需要实时响应的应用场景非常有用。 #### 二、HBase的Shell命令 HBase的Shell命令是进行表管理、数据插入、查询等操作的一种简单方式。以下是一些常用的Shell命令： 1. **创建表**： - `create 'tablename', 'columnfamily'`：用于创建一个新的表，其中`tablename`是表的名字，`columnfamily`是列族的名字。 - 示例：`create 'student', 'info'`，这会创建一个名为`student`的表，其中包含一个名为`info`的列族。 2. **列出所有表**： - `list`：显示HBase中当前存在的所有表的信息。 - 示例：`list`。 3. **插入数据**： - `put 'tablename', 'rowkey', 'columnfamily:qualifier', 'value'`：将数据插入指定的表、行、列指定的位置。 - 示例：`put 'student', '95001', 'info:Sname', 'YangJile'`，这条命令会在`student`表的行键为`95001`的行中，插入一个名为`Sname`的列，并设置其值为`YangJile`。 4. **获取数据**： - `get 'tablename', 'rowkey'`：用于查看表中特定行的数据。 - 示例：`get 'student', '95001'`。 5. **扫描数据**： - `scan 'tablename'`：用于查看表中的所有数据。 - 示例：`scan 'student'`。 6. **删除表**： - `disable 'tablename'`：先使表不可用。 - `drop 'tablename'`：删除表。 - 示例：`disable 'student'`，`drop 'student'`。 #### 三、HBase的Java API 除了Shell命令之外，HBase还提供了丰富的Java API，用于更高级的编程操作。以下是一些关键的Java API概念和使用方法： 1. **创建连接**： - `ConnectionFactory.createConnection(Configuration conf)`：创建一个与HBase集群的连接。 - 示例：`Configuration conf = HBaseConfiguration.create(); Connection conn = ConnectionFactory.createConnection(conf);` 2. **创建表**： - `TableDescriptorBuilder`：用于构建表的元数据描述。 - `Admin.createTable(TableDescriptor)`：通过管理员对象创建表。 - 示例：使用`TableDescriptorBuilder`创建表描述器，并通过`Admin`对象创建表。 3. **插入数据**： - `Put`：用于构建一个将被插入到表中的单元格。 - `Table.put(Put put)`：将构建好的`Put`对象插入到表中。 - 示例：创建`Put`对象并将其插入到表中。 4. **获取数据**： - `Get`：用于构建查询条件。 - `Table.get(Get get)`：根据构建好的`Get`对象查询数据。 - 示例：创建`Get`对象并从表中获取数据。 5. **扫描数据**： - `Scan`：用于构建扫描条件。 - `Table.get(Scan scan)`：根据构建好的`Scan`对象查询数据。 - 示例：创建`Scan`对象并从表中获取数据。 6. **关闭连接**： - `conn.close()`：关闭与HBase集群的连接。 - 示例：`conn.close();`。 #### 四、实验总结与心得体会 通过本次实验，我对HBase的安装配置有了深入的理解，并掌握了如何使用Shell命令和Java API来进行表的操作。HBase的强大之处在于它能够处理大规模的数据，并且提供了高效的数据读写能力。在未来的工作中，我会更加熟练地使用HBase来解决实际问题，并探索更多关于大数据处理的技术栈。

【Hadoop集群搭建详细步骤】 Hadoop是一种开源的分布式计算框架，主要用于大数据处理。搭建Hadoop集群涉及到多个步骤，包括虚拟机环境准备、克隆、网络配置、软件安装、集群配置、SSH免密登录以及集群的启动和测试。以下是详细的搭建过程： 1. **模板虚拟机环境准备** - 在VMware的虚拟网络编辑器中，设置VMnet8的子网IP为192.168.10.0，网关IP为192.168.10.2。 - 配置Windows系统适配器VMware Network Adapter VMnet8的IP。 - 设置模板虚拟机的IP为静态，并配置相应的IP、子网掩码、默认网关。 - 更新模板虚拟机的hosts文件，添加主机名与IP的映射。 - 重启虚拟机。 - 在模板虚拟机中安装epel-release，关闭防火墙并禁止开机自启，确保ljc1用户具有root权限。 - 卸载虚拟机自带的JDK。 2. **克隆虚拟机并配置网络** - 使用模板虚拟机克隆出三台新虚拟机，分别命名为ljc102、ljc103、ljc104，配置相同规格的硬件资源。 - 分别为每台克隆机配置独立的IP地址和主机名，例如ljc102的IP设为192.168.10.102，主机名改为ljc102。 - 重启虚拟机，并通过xshell远程连接新虚拟机。 3. **JDK、Hadoop安装** - 使用xftp上传JDK和Hadoop的安装包到ljc102。 - 解压缩JDK，将其路径添加到环境变量，然后验证安装。 - 对Hadoop进行同样的解压缩和环境变量配置，验证Hadoop安装成功。 4. **Hadoop完全分布式配置** - 在ljc102上，将JDK和Hadoop目录复制到其他节点，使用scp命令或rsync工具实现文件同步。 - 编写脚本`xsync`用于自动化文件分发，确保所有节点的软件环境一致。 - 分发环境变量配置文件到所有节点，并使其生效。 5. **SSH免密登录配置** - 为ljc1用户生成RSA密钥对，将公钥复制到其他节点，实现 ljcl用户在集群间的免密登录。 - 重复此步骤，为root用户生成密钥对，并将公钥分发到所有节点。 6. **集群配置** - 进入Hadoop配置目录，配置core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml，设定Hadoop集群的相关参数，例如NameNode、DataNode、ResourceManager等。 - 编辑workers文件，列出所有DataNode节点。 - 使用之前编写的`xsync`脚本同步配置文件到所有节点。 7. **编写Hadoop集群脚本** - 创建Hadoop集群启动和停止脚本`myhadoop.sh`，以及检查Java进程的`jpsall`脚本，用于集群管理。 - 给脚本添加执行权限，并分发到所有节点。 8. **启动并测试集群** - 首次启动前，在NameNode节点ljc102上执行HDFS的格式化操作。 - 使用`myhadoop.sh`脚本启动Hadoop集群的所有服务，包括HDFS、YARN和HistoryServer。 - 通过jps命令检查各节点服务是否正常运行。 - 使用Hadoop提供的命令进行HDFS的基本操作，如创建目录、上传文件、读取数据，以验证集群工作正常。 这个搭建过程完成后，一个基本的Hadoop集群就建立起来了，可以用于大数据处理和分析任务。在实际生产环境中，还需要考虑安全性、监控、日志管理和性能优化等方面，以确保集群的稳定和高效运行。