本文以在中移软件研发中心工作期间参与的大数据项目为背景，着重研究Hadoop相关系统的设计思想和基本框架，并设计和实现一个自动化、可扩展、可监控、可管理的应用于大规模Hadoop集群的部署管理系统，本文主要研究内容包含几个部分： 1.说明项目背景，分析项目的研究意义和应用前景。 2.研究Hadoop相关系统发展概况，说明现有的Hadoop集群部署管理技术，并对比分析它们的优缺点，为技术的选择和系统的设计提供依据。 3.深入分析Hadoop及其相关系统的设计思想和基本框架。重点研究 HDFS、MapReduce、HBase和Hive系统的核心算法和实现原理，分析它们运行的守护进程各自的职责和相互间协同工作模式，作为项目设计的理论基础。 4.深入研究项目所使用的技术。重点分析自动化配置和部署工具Puppet 的基本框架、运行机制和语法机制，为项目的设计和实现提供技术支持。 项目的分析、设计和实现。先对项目进行需求分析，分析大规模集群在硬件配置、操作系统、网络环境之间的异构性，分析Hadoop相关系统的服务、配置文件以及软件包之间的依赖关系。然后根据需求分析结果，对整个系统体系结构进行设计，

本文针对应用自动部署管理领域遇到的问题,主要完成了以下工作: (1)提出了一种基于 OpenStack 平台的应用自动部署管理系统的设计方案, 从系统需求背景、应用场景提出了系统的功能需求,给出了包括用户命令行界面、 OpenStack API 驱动、虚拟机管理、Agent 管理以及应用程序管理模块的系统总体 架构体系。 (2)分别从 OpenStack 接口调用、虚拟机初始化、虚拟机管理、系统与 Agent 的网络通信方面详述了虚拟机管理模块的实现,从应用环境配置、应用部署和负载 均衡给出了应用自动配置管理模块功能的实现。提出了系统中虚拟机和应用程序 的监控方案,给出了一种基于可变权重的平均负载算法,根据计算得到的应用平均 负载对应用程序执行扩展和收缩等动态调整功能。 (3)在测试环境下对应用自动部署管理系统的功能进行了测试,测试结果表 明系统完全达到了需求和设计目标,能够将应用程序的部署完全融合到云环境的 基础设施中,应用的部署过程被简化为一条系统命令,另外系统对应用提供了全生 命周期的监控管理,对应用程序出现的不确定的故障和用户压力能够通过重启、扩 展和收缩等动作进行处理,保证其在运行过程中的稳定性,使运维人员在云环境下 对应用的管理更加简单容易。