CDH集群YARN动态资源池的规划与管理.docx

1 YARN动态资源池 2 CDH集群上YARN的动态资源池配置 2.1 参数配置 2.1.1 yarn.admin.acl 2.1.2 yarn.scheduler.fair.allow-undeclared-pools 2.2 资源池配置 2.3 放置规则设置 2.4 计划模式 2.5 用户限制 3 集群动态资源池规划 3.1 动态资源池规划样例1 3.2 动态资源池规划样例2 在Yarn中有三种调度器可以选择：FIFO Scheduler ，Capacity Scheduler，FairS cheduler。 FIFO Scheduler把应用按提交的顺序排成一个队列，这是一个先进先出队列，在进行资源分配的时候，先给队列中最头上的应用进行分配资源，待最头上的应用需求满足后再给下一个分配，以此类推。 FIFO Scheduler是最简单也是最容易理解的调度器，也不需要任何配置，但它并不适用于共享集群。大的应用可能会占用所有集群资源，这就导致其它应用被阻塞。在共享集群中，更适合采用Capacity Scheduler或Fair Scheduler 在大数据处理领域，Apache Hadoop YARN（Yet Another Resource Negotiator）是核心组件之一，它负责管理和调度集群上的计算资源。YARN动态资源池的规划与管理是优化集群性能的关键环节，尤其在CDH（Cloudera Distribution Including Apache Hadoop）这样的企业级Hadoop平台中更为重要。 YARN提供了三种调度器：FIFO Scheduler、Capacity Scheduler和Fair Scheduler。FIFO Scheduler遵循先进先出的原则，简单易懂，但不适合共享集群，因为大应用可能占据所有资源，导致其他应用等待。Capacity Scheduler适合共享集群，通过预定义的队列分配资源，但可能会预先占用资源。Fair Scheduler则更灵活，动态调整资源，确保所有应用公平分享资源。 在CDH集群上配置YARN的动态资源池，首先涉及参数配置。`yarn.admin.acl`参数用于设定哪些用户或用户组有权管理资源池，可以设置为特定用户或用户组，或者用星号(*)表示所有用户。`yarn.scheduler.fair.allow-undeclared-pools`则决定是否允许创建未在配置中声明的新资源池。 资源池配置包括资源池的名称、权重、最小和最大CPU及内存设置，以及应用程序的最大数量。权重决定了资源池相对其他池的资源获取比例。最小和最大资源限制确保了资源池的稳定性和效率。同时，设置“提交”和“管理”权限的用户和组，能有效控制资源池的访问和管理。 放置规则的设置是资源池管理中的另一个重要方面。这些规则确定任务会被分配到哪个资源池，例如，可以基于运行时指定的池、用户名、用户主要组等条件。规则的顺序决定了任务的分配顺序，一旦满足某个条件，任务就会被提交到对应的池。 在集群动态资源池规划中，需要考虑不同业务场景。规划样例通常包含多个层次的资源池，如主资源池和子资源池，以适应多样的应用需求。例如，一个动态资源池规划可能将资源池按部门或项目划分，每个资源池根据其业务需求分配权重，同时设置适当的预占策略，以确保资源的高效利用。 CDH集群上的YARN动态资源池规划与管理涉及多方面因素，包括调度器选择、参数配置、资源池结构、权限控制和任务分配策略。正确的配置能提升集群的资源利用率，保证不同应用的公平性和响应速度，对于大数据处理环境的稳定性和性能至关重要。