大数据导论实验一——搭建Hadoop集群实验报告

Docker 安装与配置 安装 Docker（摘自 Docker 官方文档） 设置 Docker Repository 更新软件索引$ sudo apt-get update 安装一些必要的包 $ sudo apt-get install \ apt-transport-https \ ca-certificates \ curl \ gnupg-agent \ software-properties-common 添加 Docker 官方 GPG Key$ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sud

Linux Info: Ubuntu 16.10 x64 Docker 本身就是基于 Linux 的，所以首先以我的一台服务器做实验。虽然最后跑 wordcount 已经由于内存不足而崩掉，但是之前的过程还是可以参考的。 连接服务器 使用 ssh 命令连接远程服务器。 ssh root@[Your IP Address] 更新软件列表 apt-get update 更新完成。 安装 Docker sudo apt-get install docker.io 当遇到输入是否继续时，输入「Y／y」继续。 安装完成 输入「docker」测试是否安装成功。 拉取镜像 镜像

里面包含Hadoop2.7，jdk1.8以及写好的Dockerfile文件，还有配置文件

阿里云ubuntu16.04基于docker搭建hadoop详细操作步骤......里面都是详细的脚本文件，对照着我的博客做应该是没有问题的.

看了很多其他博主的文章，都不太能适用于我的电脑环境，这个教程是我经过多次尝试多次终于做出的可以在我的环境下运行的hadoop集群。 可以下载看看是否对大家有所启发 希望这个教程对大家可以有所帮助

1、拉取centos8的镜像 在用户目录下： 2、构建集群子网 按照集群的架构，创建容器时需要设置固定IP，所以先要在docker使用如下命令创建固定IP的子网 docker network create –subnet=172.18.0.0/16 netgroup 对各个节点指定好功能 maseter为主节点，hadoop01 为从节点和datanode hadoop02 为yarn主节点负责各个节点的资源调度, hadoop02，hadoop03为datanode节点 OS hostname IP Centos8 hadoop-master 172.1

第1步 master-slave1和slave2配置网络和搭建Hadoop集群环境.docx

自动化安装hadoop集群 脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop（格式为*tar.gz） 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6，其他操作系统会有些配置不一样，请手动调整 资源描述： 安装Linux教程.mp4 搭建hadoop集群-脚本使用教程.mp4 搭建Hadoop集群.docx（此为文本教程，脚本都是按这个配置的） 脚本使用教程.txt 请评论区留言反馈，您宝贵的意见是我前进的动力。 我会经常更新的！

大数据教程之搭建Hadoop集群.zip