yarn队列配置（yarn配置多队列）



​ Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。

yarn主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。

Hadoop作业调度器主要有三种：FIFO、Capacity Scheduler和Fair Scheduler。Hadoop3.1.3默认的资源调度器是Capacity Scheduler。

具体设置详见：yarn-default.xml文件

FIFO

先进先出，同一时间队列中只有一个任务在执行

容量调度器

多队列；每个队列内部先进先出, 同一时间队列中只有一个任务在执行, 队列的并行度为队列的个数。

公平调度器

多队列；每个队列内部按照缺额大小分配资源启动任务，同一时间队列中有多个任务执行。队列的并行度大于等于队列的个数

需求

Yarn默认调度器为Capacity Scheduler（容量调度器），且默认只有一个队列——default。该调度器单个队列内的调度策略为FIFO，故单个队列的任务并行度为1，即一个队列，同一时刻，只能有一个任务运行。

在实际使用中会出现单个任务阻塞整个队列的情况。同时，随着业务的增长，公司需要分业务限制集群使用率。这就需要我们按照业务种类配置多条任务队列。

1.案例：配置default、hive多队列

默认Yarn的配置下，容量调度器只有一条Default队列。在$HADOOP_HOME/etc/hadoop/capacity-schdualer.xml中可以配置多条队列，并降低default队列资源占比：

①增加队列，添加队列的属性配置

②分发配置文件到集群，重启Yarn

③测试，向default ，hive队列分别提交任务

提交到default队列：

提交到hive队列

查看yarn任务ui界面:http://hadoop103:8088/cluster/scheduler

提交就可以查看了，不然任务跑完就看不到了....

2.配置Hive的默认提交队列

方式一

当前hive的shell窗口有效，关闭就不行了

方式二

修改配置文件，永久生效

版权声明：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/rfx/55735.html