HA 概述 1）所谓 HA（high available），即高可用（7*24 小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA 机制： HDFS 的 HA 和 YARN 的 HA。 3）Hadoop2.0 之前，在 HDFS 集群中 NameNode 存在单点故障（SPOF）。 4）NameNode 主要在以下两个方面影响 HDFS 集群 NameNode 机器发生意外，如宕机，集群将无法使用，直到管理员重启 NameNode 机器需要升级，包括软件、硬件升级，此时集群也将无法使用 HDFS HA 功能通过配置 Active/Standby 两个 nameNodes 实现在集群中对 NameNode 的 热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方 式将 NameNode 很快的切换到另外一台机器。 HDFS-HA 工作机制 1）通过双 namenode 消除单点故障

实验2 熟悉常用的HDFS操作 一、实验目的 1. 理解HDFS在Hadoop体系结构中的角色； 2. 熟练使用HDFS操作常用的Shell命令； 3. 熟悉HDFS操作常用的Java API。 二、实验平台 1. 操作系统：Linux（建议Ubuntu16.04或Ubuntu18.04）； 2. Hadoop版本：3.1.3； 3. JDK版本：1.8； 4. Java IDE：Eclipse。 三、实验步骤（每个步骤下均需有运行截图） （一）编程实现以下功能，并利用Hadoop提供的Shell命令完成相同任务： （1） 向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件；（2） 从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名；（3） 将HDFS中指定文件的内容输出到终端中；（4） 显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息；

httpfs_utils 用于通过HTTPFS进行快速HDFS命令的Python模块

一个非常不错的使用php的操作hadoop的例子代码实现，可以作为编写通过thrift操作hdfs的参考代码例子

林子雨的书 关于大数据的 如果想要学习大数据的同学 又是恰好刚刚入门的话推荐这本

使用sqoop2从mysql导入hadoop时，导入的数据带单引号。是由于sqoop2的一个bug导致，该包上传到sqoop_home/server/lib替换原来的jar包后，重启sqoop server，即可解决。

在搭建完hadoop大数据系统（CDH5.16.1）后，如何访问hdfs文件系统上的数据呢？那当然是通过构建maven项目 使用java api接口进行文件了。为此，特别进行了hdfs文件系统java api访问的整理。

Flume-ng在windows环境搭建并测试+log4j日志通过Flume输出到HDFS 11111

由于很多文章都是只有ranger的安装说明，却没有编译后的tar包，而且编译的时间有点长，编译期间会出现各种问题，导致编译不过，特此上传编译后的包，来提供大家下载

基于hadoop的电商销售预测分析系统HDFS+MapReduce+springboot报告文档 源码：https://download.csdn.net/download/weixin_46115961/86338894