一、实验目的 1. 理解Hive作为数据仓库在Hadoop体系结构中的角色。 2. 熟练使用常用的HiveQL。 二、实验平台 1. 操作系统：Ubuntu18.04（或Ubuntu16.04）。 2. Hadoop版本：3.1.3。 3. Hive版本：3.1.2。 4. JDK版本：1.8。 三、数据集 由《Hive编程指南》(O'Reilly系列，人民邮电出版社)提供，下载地址： https://raw.githubusercontent.com/oreillymedia/programming_hive/master/prog-hive-1st-ed-data.zip 备用下载地址： https://www.cocobolo.top/FileServer/prog-hive-1st-ed-data.zip 解压后可以得到本实验所需的stocks.csv和dividends.csv两个文件。 在大数据处理领域，Hive是一种基于Hadoop的数据仓库工具，它允许用户使用SQL类的语言（称为HiveQL）对大规模数据进行分析和处理。在这个实验中，我们将深入理解Hive的角色以及如何执行基本操作。 Hive在Hadoop生态系统中的角色是作为一个数据仓库接口，它简化了对分布式存储的大数据进行查询和分析的过程。Hive将复杂的MapReduce任务转化为简单的SQL查询，使得非Java背景的分析师也能轻松地处理大数据。 实验平台包括Ubuntu操作系统、Hadoop 3.1.3、Hive 3.1.2和JDK 1.8。这些组件共同构成了一个支持大数据处理的基础架构。 实验主要分为以下几个步骤： 1. 创建内部表`stocks`，它包含了关于股票交易的信息，如交易所、股票代码、交易日期、开盘价、最高价、最低价、收盘价、交易量和调整后的收盘价。内部表的数据存储在HDFS上，由Hive完全管理。 2. 创建一个外部分区表`dividends`，该表用于存储股息信息，包括交易日期、股息金额、交易所和股票代码。分区表的好处在于可以根据分区字段快速定位数据，提高查询效率。 3. 导入数据到`stocks`表，这是通过LOAD DATA命令实现的，将csv文件的数据加载到Hive表中。 4. 创建未分区的外部表`dividends_unpartitioned`，然后从csv文件导入数据。外部表的元数据由Hive管理，但数据本身的位置由用户指定，这使得数据可以独立于Hive存在。 5. 利用Hive的自动分区功能，将`dividends_unpartitioned`表中的数据按特定条件插入到`dividends`的各个分区中，这样可以优化查询性能。 6-10. 这些步骤涉及到各种查询操作，包括： - 查询IBM公司从2000年起的股息支付记录。 - 查询苹果公司2008年10月的涨跌情况。 - 查找收盘价高于开盘价最多的股票记录。 - 查询Apple公司年平均调整后收盘价超过50美元的年份及价格。 - 找出每年年平均调整后收盘价前三的股票代码和价格。 通过这些操作，我们可以熟练掌握HiveQL的基本语法，如CREATE TABLE、LOAD DATA、INSERT INTO、SELECT等，以及如何利用Hive进行数据分区和复杂查询。此外，实验也强调了Hive在大数据分析中的实用性，特别是在处理大量历史交易数据时，能够提供高效的数据查询和分析能力。 实验总结指出，通过实际操作，我们不仅了解了Hive在大数据处理中的核心功能，还掌握了如何利用Hive进行数据导入、查询和分析。这对于理解大数据处理流程，提升数据分析技能，以及在实际工作中应用Hive解决复杂问题具有重要意义。

一、实验目的 1. 通过实验掌握基本的MapReduce编程方法； 2. 掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。 二、实验平台 1. 操作系统：Linux（建议Ubuntu16.04或Ubuntu18.04） 2. Hadoop版本：3.1.3 三、实验步骤（每个步骤下均需有运行截图） （一）编程实现文件合并和去重操作 对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件C。下面是输入文件和输出文件的一个样例供参考。 ———————————————— 版权声明：本文为CSDN博主「Blossom i」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/weixin_60530224/article/details/135632280 **大数据技术原理及应用——MapReduce初级编程实践** MapReduce是一种分布式计算模型，由Google提出，主要用于处理和生成大规模数据集。在这个实验中，我们将学习如何利用MapReduce编程解决实际问题，包括数据去重、数据排序和信息挖掘。 **一、MapReduce编程基础** MapReduce的核心在于两个主要阶段：Map阶段和Reduce阶段。Map阶段将输入数据分解成键值对，然后并行处理这些对。Reduce阶段则将Map阶段的结果聚合，生成最终的输出结果。 **1. 文件合并与去重** 在Map阶段，我们读取输入文件A和B，对每一行数据进行处理，生成形如`(key, value)`的键值对，其中`key`是行内容，`value`可以是一个标记，表明该行来自于哪个文件。在Reduce阶段，我们检查`value`的集合，如果存在相同的`key`但`value`不同的情况，说明这是来自不同文件的重复数据，我们只需要保留一份即可。 **2. 数据排序** 针对多个输入文件的整数排序问题，Map阶段同样生成`(key, value)`对，这里`key`是待排序的整数，`value`是排序标识。Reduce阶段根据`key`进行排序，并输出排序后的结果，同时在输出文件中，将排序索引作为新的`key`，原整数作为`value`。 **二、信息挖掘** 对于给定的父子辈关系表，我们需要找出祖孙辈关系。Map阶段，我们将每一行的父子关系转换成`(child, parent)`和`(parent, child)`两对键值对。Reduce阶段，通过检查`child`是否出现在其他键值对的`parent`位置，来发现祖孙关系，输出`(grandchild, grandparent)`对。 **三、MapReduce优化与改进** 在实现上述功能时，可以考虑以下优化： - **分区策略**：根据输入数据的特性调整分区策略，使得相同`key`的数据尽可能在同一台机器上处理，减少网络传输。 - **Combiner函数**：在Reduce前，先在Map节点上进行局部聚合，减少网络传输的数据量。 - **缓存中间结果**：对频繁出现的`key`，可以在内存中缓存，提高效率。 - **负载均衡**：确保集群中的任务分配均匀，避免单个节点过载。 在面对大量数据时，优化MapReduce程序至关重要，它可以显著提升处理速度和资源利用率。通过不断的实践和优化，我们可以更好地驾驭MapReduce，解决更复杂的大数据处理问题。

《Hadoop大数据技术原理与应用（第2版）》涵盖了Hadoop大数据框架的核心原理和应用实践。书中首先介绍了Hadoop的基本概念，包括数据的分类和Hadoop的核心特性。Hadoop能够处理半结构化数据和非结构化数据，支持多样、低价值密度、高速的大数据环境，并以Nutch为例，展示了其高容错性、高效率、高扩展性的特点。Hadoop之所以成为低成本、高可靠性和高容错性的大数据处理解决方案，归功于其设计中的低成本性、数据的多副本存储、故障自动恢复机制、高效的并行计算能力和良好的扩展性。 在部署Hadoop集群方面，书中阐述了不同模式的区别。本地模式用于模拟集群环境，而伪分布式模式和完全分布式模式则分别适合单机多JVM和多机多JVM环境的部署需求。部署时，Hadoop集群的启动脚本、配置文件格式化以及端口号设置是基本操作。 在HDFS分布式文件系统一章中，Hadoop通过NameNode、Fsimage、NameSpace等核心组件确保了文件系统的稳定运行。HDFS的健壮性得到了心跳机制、副本机制、数据完整性校验、安全模式和快照等特性的保障。在处理写文件的流程中，Hadoop设计了分块策略和数据传输管道来优化数据存储和读写效率，从而支持大规模数据集的高效处理。 综合来看，Hadoop作为大数据处理框架，通过其分布式架构，实现了数据存储、处理的高可靠性和扩展性。Hadoop的主要优点包括低成本、高可靠性、高容错性、高效率和高扩展性。其运行原理涉及多个组件和机制，如NameNode管理元数据、心跳机制保障节点健康、副本机制和数据完整性校验确保数据安全，以及HDFS的健壮性机制等。在部署Hadoop时，需要注意其不同的运行模式和配置细节，以便更好地管理集群环境。HDFS的读写流程则体现了Hadoop在数据处理上的高效性。总体而言，这本书为读者提供了一个全面了解和应用Hadoop大数据技术的途径。

一、实验目的 1. 通过实验掌握基本的Flink编程方法。 2. 掌握用IntelliJ IDEA工具编写Flink程序的方法。 二、实验内容和要求 1. Ubuntu18.04（或Ubuntu16.04）。 2. IntelliJ IDEA。 3. Flink1.9.1。 三、实验步骤（每个步骤下均需有运行截图） 1．使用IntelliJ IDEA工具开发WordCount程序 在Linux系统中安装IntelliJ IDEA，然后使用IntelliJ IDEA工具开发WordCount程序，并打包成JAR文件，提交到Flink中运行。 在本次实验中，主要是学习掌握基本的Flink编程方法编写Flink程序的方法以及对大数据的基础编程技能进行巩固。并且还学习了Flink的基本原理和运行机制，还通过具体的代码实现，了解到Flink程序的编写步骤和注意事项。此外，还学会了如何使用IntelliJ IDEA工具进行Flink程序的编写和调试，加深了对开发工具的了解。

林子雨的书 关于大数据的 如果想要学习大数据的同学 又是恰好刚刚入门的话推荐这本

实验2-熟悉常用的HDFS操作-答案-厦门大学-林子雨-大数据技术原理与应用（第3版）.doc

厦门大学大数据技术原理与应用配套选择题和一些简答题

《大数据技术原理与应用》（林子雨版）课后习题答案.pdf

大数据技术原理与应用 林子雨版 课后习题答案（第3版）.xdf

(完整word版)大数据技术原理与应用-林子雨版-课后习题答案.doc