Hadoop——第四部份 Hadoop3.x之Yarn——六、Yarn容量调度器队列配置及案例

六、Yarn容量调度器队列配置及案例

6.1 配置自定义队列

1. 修改配置文件

vi /opt/module/hadoop-3.3.1/etc/hadoop/capacity-scheduler.xml

修改部分内容

<!-- 指定多队列，增加hive队列 -->
<property>
    <name>yarn.scheduler.capacity.root.queues</name>
    <value>default,hive</value>
    <description>
      The queues at the this level (root is the root queue).
    </description>
</property>

<!-- 降低default队列资源额定容量为40%，默认100% -->
<property>
    <name>yarn.scheduler.capacity.root.default.capacity</name>
    <value>40</value>
</property>

<!-- 降低default队列资源最大容量为60%，默认100% -->
<property>
    <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
    <value>60</value>
</property>

<!-- 指定hive队列的资源额定容量 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.capacity</name>
    <value>60</value>
</property>

<!-- 用户最多可以使用队列多少资源，1表示 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.user-limit-factor</name>
    <value>1</value>
</property>

<!-- 指定hive队列的资源最大容量 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.maximum-capacity</name>
    <value>80</value>
</property>

<!-- 启动hive队列 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.state</name>
    <value>RUNNING</value>
</property>

<!-- 哪些用户有权向队列提交作业 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.acl_submit_applications</name>
    <value>*</value>
</property>

<!-- 哪些用户有权操作队列，管理员权限（查看/杀死） -->
<property>
    <name>yarn.scheduler.capacity.root.hive.acl_administer_queue</name>
    <value>*</value>
</property>

<!-- 哪些用户有权配置提交任务优先级 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.acl_application_max_priority</name>
    <value>*</value>
</property>

<!-- 任务的超时时间设置：yarn application -appId appId -updateLifetime Timeout
参考资料：https://blog.cloudera.com/enforcing-application-lifetime-slas-yarn/ -->

<!-- 如果application指定了超时时间，则提交到该队列的application能够指定的最大超时时间不能超过该值。 
-->
<property>
    <name>yarn.scheduler.capacity.root.hive.maximum-application-lifetime</name>
    <value>-1</value>
</property>

<!-- 如果application没指定超时时间，则用default-application-lifetime作为默认值 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.default-application-lifetime</name>
    <value>-1</value>
</property>

2. 分发配置文件

3. 重启Yarn或刷新队列配置

yarn rmadmin -refreshQueues

6.2 使用自定义队列hive

通过增加以下参数使用

-D mapreduce.job.queuename=hive

6.3 任务优先级

1. 在yarn-site.xml配置文件中开启优先级功能

vi /opt/module/hadoop-3.3.1/etc/hadoop/yarn-site.xml

增加以下内容

<property>
    <name>yarn.cluster.max-application-priority</name>
    <value>5</value>
</property>

2. 分发配置并在hadoop103重启Yarn

synchronize /opt/module/hadoop-3.3.1/etc/hadoop/yarn-site.xml
stop-yarn.sh
start-yarn.sh
jps

3. 使用以下参数提交不同优先级的任务

-D mapreduce.job.priority=5

如：

hadoop jar /opt/module/hadoop-3.3.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar pi -D mapreduce.job.priority=5 5 2000000

4. 修改正在执行的任务的优先级

yarn application -appID <ApplicationID> -updatePriority <优先级>

七、Yarn公平调度器队列配置及案例

八、Yarn的Tool接口案例