更新时间:2022-09-27 GMT+08:00

租户简介

定义

MRS集群拥有的不同资源和服务支持多个组织、部门或应用共享使用。集群提供了一个逻辑实体来统一使用不同资源和服务,这个逻辑实体就是租户。多个不同的租户统称多租户。当前仅分析集群支持租户。

原理

MRS集群提供多租户的功能,支持层级式的租户模型,支持动态添加和删除租户,实现资源的隔离,可以对租户的计算资源和存储资源进行动态配置和管理。

计算资源指租户Yarn任务队列资源,可以修改任务队列的配额,并查看任务队列的使用状态和使用统计。

存储资源目前支持HDFS存储,可以添加删除租户HDFS存储目录,设置目录的文件数量配额和存储空间配额。

租户可以在界面上根据业务需要,在集群中创建租户、管理租户。

  • 创建租户时将自动创建租户对应的角色、计算资源和存储资源。默认情况下,新的计算资源和存储资源的全部权限将分配给租户的角色。
  • 默认情况下,查看当前租户的资源,在当前租户中添加子租户并管理子租户资源的权限将分配给租户的角色。
  • 修改租户的计算资源或存储资源,对应的角色关联权限将自动更新。

MRS中最多支持512个租户。系统默认创建的租户包含“default”。和默认租户同处于最上层的租户,可以统称为一级租户。

资源池

YARN任务队列支持一种调度策略,称为标签调度(Label Based Scheduling)。通过此策略,YARN任务队列可以关联带有特定节点标签(Node Label)的NodeManager,使YARN任务在指定的节点运行,实现任务的调度与使用特定硬件资源的需求。例如,需要使用大量内存的YARN任务,可以通过标签关联具有大量内存的节点上运行,避免性能不足影响业务。

在MRS集群中,租户从逻辑上对YARN集群的节点进行分区,使多个NodeManager形成一个资源池。YARN任务队列通过配置队列容量策略,与指定的资源池进行关联,可以更有效地使用资源池中的资源,且互不影响。

MRS中最多支持50个资源池。系统默认包含一个“default”资源池。