文档首页 > > 用户指南> 配置集群> 创建集群

创建集群

更新时间: 2019/12/12 GMT+08:00

使用MRS的首要操作就是购买集群,本章节为您介绍如何在MRS管理控制台创建一个新的集群。

注册华为云后,如果需要对华为云上的资源进行精细管理,请使用IAM服务创建IAM用户及用户组,并授权,以使得IAM用户获得具体的操作权限,具体请参考权限管理

计费模式

目前MRS商用收费基本要素为集群中弹性云服务器。
  • 包年/包月:根据集群购买时长,一次性支付集群费用。最短时长为1个月,最长时长为1年。时间越长,折扣越大。
  • 按需计费:节点按实际使用时长计费,计费周期为一小时。
  • 此处费用只是购买集群所需费用,MRS上的数据存储、带宽和流量另外计费。
  • 扣费时余额不足先提醒用户续费,在保留期冻结集群资源,续费后再解冻。
  • 包年/包月集群删除后将无法恢复,其相关费用也无法回退,请谨慎删除包年/包月集群。
  • 包年/包月集群用户账户欠费后集群还能使用,但不能使用按需服务,即不能通过OBS提交作业。

创建MRS 2.1.0版本集群

创建MRS历史版本集群操作请参见创建集群(历史版本)

  1. 登录MRS管理控制台。
  2. 单击“购买集群”,进入“购买集群”页面。

    创建集群时需要注意配额提醒。当资源配额不足时,建议按照提示申请足够的资源,再创建集群。

  3. 参考下列表格配置集群基本信息。

    表1 配置集群基本信息

    参数

    参数说明

    计费模式

    MRS提供两种计费模式:
    • 包年/包月
    • 按需计费

    当前区域

    选择区域

    可用区

    可用区是使用独立电源和网络资源的物理区域。通过内部网络互联,再以物理方式进行隔离,提高了应用程序的可用性。建议您在不同的可用区下创建集群。

    选择集群工作区域下关联的可用区。集群工作区域在工具菜单处选择。

    集群名称

    集群名称,集群名称不允许相同。

    只能由字母、数字、中划线和下划线组成,并且长度为1~64个字符。

    默认名称为mrs_xxxx,xxxx为字母和数字的四位随机组合数,系统自动组合。

    集群版本

    目前支持MRS 1.8.10、MRS 2.1.0版本。默认值为当前最新版本。

    企业项目

    选择集群所属的企业项目,如需使用企业项目,请先通过“企业管理 > 企业项目管理”服务创建。

    企业项目所在的企业管理控制台以面向企业资源管理为出发点,帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。

    Kerberos认证

    登录MRS Manager管理页面时是否启用Kerberos认证。

    • “Kerberos认证”关闭时,用户可使用MRS集群的所有功能。建议单用户场景下使用。不启用Kerberos认证时的安全配置建议请参见集群(未启用Kerberos认证)安全配置建议
    • “Kerberos认证”开启时,普通用户无权限使用MRS集群的文件管理作业管理功能,并且无法查看Hadoop、Spark的作业记录以及集群资源使用情况。如果需要使用集群更多功能,需要找MRS Manager的管理员分配权限。建议在多用户场景下使用。

    通过单击来关闭或开启Kerberos认证。

    说明:

    仅按需计费且关闭Kerberos认证的分析集群或混合集群支持通过界面的作业管理功能提交作业。如需在开启Kerberos认证的集群中提交作业,请参考从零开始使用Hadoop中的“安全集群创建作业”。

    用户名

    MRS Manager管理员用户,目前默认为admin用户。

    密码

    配置MRS Manager管理员用户的密码。

    需要满足:

    • 密码长度应在8~32个字符之间
    • 必须包含如下5种中至少3种字符的组合
      • 至少一个小写字母
      • 至少一个大写字母
      • 至少一个数字
      • 至少一个特殊字符:`~!@#$%^&*()-_=+\|[{}];:'",<.>/?
      • 空格
    • 不能和用户名一样
    • 不能和用户名的倒写一样

    安全程度:颜色条红、橙、绿分别表示密码安全强度弱、中、强。

    确认密码

    再次输入MRS Manager管理员用户的密码。

    集群类型

    提供三种集群类型:
    • 分析集群:用来做离线数据分析,提供的是Hadoop体系的组件。
    • 流式集群:用来做流处理任务,提供的是流式处理组件。
    • 混合集群:既可以用来做离线数据分析,也可以用来做流处理任务,提供的是Hadoop体系的组件和流式处理组件。建议同时需要做离线数据分析和流处理任务时使用混合集群。(MRS 1.8.5及之后版本支持混合集群。)
    说明:

    MRS流式集群不支持“作业管理”“文件管理”功能

    组件选择

    MRS 2.1.0版本配套的组件如下:

    分析集群组件
    • Presto 308:开源、分布式SQL查询引擎
    • Hadoop 3.1.1:分布式系统基础架构
    • Spark 2.3.2:内存分布式系统框架
    • Hive 3.1.0:建立在Hadoop上的数据仓库框架
    • HBase 2.1.1:分布式列数据库
    • Tez 0.9.1:提供有向无环图的分布式计算框架
    • Hue 3.11.0:提供Hadoop UI能力,让用户通过浏览器分析处理Hadoop集群数据
    • Loader 2.0.0:基于开源sqoop 1.99.7开发,专为Apache Hadoop和结构化数据库(如关系型数据库)设计的高效传输大量数据的工具。

      Hadoop为必选组件,且Spark与Hive组件需要配套使用。请根据业务选择搭配组件。

    • Flink:分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。
    • Impala:一种处理大量数据的SQL查询引擎。
    • Kudu:一种列存储管理器。
    流式集群组件
    • Kafka 1.1.0:提供分布式消息订阅的系统。
    • Storm 1.2.1:提供分布式实时计算的系统。
    • Flume 1.6.0:提供分布式、高可用、高可靠的海量日志采集、聚合和传输系统。

    Hive使用外部数据源存储元数据

    是否使用外部数据源存储Hive元数据。通过单击开启该功能,当该功能开启时,若集群异常或删除时将不影响Hive元数据,适用于存储计算分离的场景。

    目前仅MRS 2.0.3版本支持该功能。

    数据连接类型

    当“Hive使用外部数据源存储元数据”功能开启时,该参数有效。用于表示外部数据源的类型。

    • RDS服务POSTGRES数据库
    • 本地数据库

    数据连接实例

    当“数据连接类型”选择“RDS服务POSTGRES数据库”时,该参数有效。用于表示MRS集群与RDS服务POSTGRES数据库连接的名称,该实例必选先创建才能在此处引用。可单击“创建数据连接”进行创建,具体请参考管理数据连接

    虚拟私有云

    VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。

    选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。

    子网

    通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。

    选择需要创建集群的子网,可进入VPC服务查看VPC下已创建的子网名称和ID。若VPC下未创建子网,请单击“创建子网”进行创建。

    须知:

    请勿将子网和网络ACL关联。

    安全组

    安全组是一组对弹性云服务器的访问规则的集合,为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。

    用户创建集群时,可自动创建安全组,也可选择下拉框中已有的安全组。

    说明:

    建议选择自动创建。若用户选择已有的安全组时,可以选择之前创建集群时自动创建的安全组,也可以使用自己创建的安全组,使用自己创建的安全组需要确保入方向规则中包含全部协议,全部端口,源地址为指定的管理面节点IP的安全组规则,具体详情可联系华为云支持人员。源地址请勿使用0.0.0.0/0,否则会有安全风险。

    弹性公网IP

    通过将弹性公网IP与MRS集群绑定,实现使用弹性公网IP访问MRS Manager的目的。

    用户创建集群时,可选择下拉框中已有的弹性公网IP进行绑定。若下拉框中没有可选的弹性公网IP,可以单击“管理弹性公网IP”进入弹性公网IP服务进行购买。

    说明:

    弹性公网IP必须和集群在同一区域。

    集群高可用

    是否开启集群高可用,默认开启。

    启用高可用特性时,所有组件的管理进程将会部署在两个master节点上,实现双机热备,防止单机故障,提高可靠性。当关闭高可用特性时,所有组件的管理进程只会部署在一个master节点上,当某个组件的进程出现异常时,该组件将无法提供服务。

    • “集群高可用”关闭时,Master节点实例数量固定为1个,Core节点实例数量默认为3个,最小可调整为1个。
    • “集群高可用”开启时,Master节点实例数量固定为2个,Core节点实例数量默认为3个,最小可调整为1个。

    通过单击来关闭或开启集群高可用。

    CPU架构

    MRS提供的CPU架构类型:

    • X86:x86 CPU架构采用复杂指令集(CISC),CISC指令集的每个小指令可以执行一些较低阶的硬件操作,指令数目多而且复杂,每条指令的长度并不相同。由于指令执行较为复杂所以每条指令花费的时间较长。
    • ARM:ARM CPU架构采用RISC精简指令集(RISC),RISC是一种执行较少类型计算机指令的微处理器,它能够以更快的速度执行操作,使计算机的结构更加简单合理地提高运行速度,相对于X86 CPU架构具有更加均衡的性能功耗比。鲲鹏的优势是高密度低功耗,可以提供更高的性价比。
    表2 集群节点信息

    参数

    参数说明

    类型

    MRS提供节点类型:

    • Master:指集群Master节点,负责管理集群,协调将集群可执行文件分配到Core节点。此外,还会跟踪每个作业的执行状态,监控DataNode的运行状况。
    • Core:指集群Core节点,处理数据并在HDFS中存储过程数据。分析集群将创建分析Core节点,流式集群将创建流式Core节点,混合集群分别创建分析Core和流式Core节点。
    • Task:指集群Task节点,主要用于计算,不存放持久数据。主要安装Yarn、Storm组件。Task节点为可选节点,数目可以是零。分析集群将创建分析Task节点,流式集群将创建流式Task节点,混合集群分别创建分析Task和流式Task节点。

      当集群数据量变化不大而集群业务处理能力需求变化比较大,大的业务处理能力只是临时需要,此时选择添加Task节点。

      • 临时业务量增大,如年底报表处理。
      • 需要在短时间内处理完原来需要处理很久的任务,如一些紧急分析任务。

    磁盘LVM管理

    仅当创建流式Core节点时,该参数在流式Core节点对应的操作列有效。单击该参数以开启或关闭磁盘LVM管理,该参数后括号内显示该功能的当前状态。

    启用逻辑卷管理(LVM)时,会将节点中所有磁盘以逻辑卷的方式挂载,能够更加合理的规划磁盘,避免磁盘不均匀的问题,提升系统的稳定性。

    配置Task节点(可选配置)

    单击“添加按需Task节点”,配置Task节点信息。

    单击Task节点所在行“操作列的“弹性伸缩”,进入“弹性伸缩”配置页面,可启用弹性伸缩策略,详细操作请参见 配置弹性伸缩规则

    说明:
    • Task节点所在行“操作”列的“弹性伸缩”参数用于配置弹性伸缩策略,该参数后括号显示弹性伸缩功能开启时的默认节点数量范围或弹性伸缩功能为已关闭状态。
    • 价格计算器只计算基础配置的价格,当Task节点的“实例数量”“0”时无论是否配置弹性伸缩节点数量,价格计算器都不计算Task节点的费用。通过弹性伸缩功能增加的Task节点会在节点增加后按实际使用时长计费。

    实例规格

    选择主节点和核心节点的实例规格。MRS当前支持主机规格的配型由CPU+内存+Disk共同决定。支持的实例规格详细说明请参见MRS所使用的弹性云服务器规格

    说明:
    • 节点的实例规格配置越高,数据处理分析能力越强,集群所需费用也越高。
    • 当Core节点规格选择为HDD磁盘时,MRS无需为数据磁盘付费,但ECS需要为此付费。
    • 当Core节点规格选择HDD磁盘时,Master节点和Core节点的系统磁盘大小为40GB,或者Master节点的数据磁盘大小为200GB,它们都称为SATA磁盘。
    • 当Core节点规格选择非HDD磁盘时,Master节点和Core节点的磁盘类型取决于数据磁盘。
    • 当节点的实例规格选项后标示“已售罄”时,将无法购买此规格的节点,请选择其他规格节点进行购买。
    • Master节点中的4核8GB规格不在SLA售后范围内,仅适用于测试环境,不建议用于生产环境。

    实例数量

    配置主节点和核心节点的个数。

    Master:

    • 开启“集群高可用”时,Master实例数量固定为2个。
    • 关闭“集群高可用”时,Master实例数量固定为1个。

    Core节点至少存在一个,Core节点和Task节点的数量之和不能超过500个。

    说明:
    • Core节点默认的最大值为500,如果用户需要的Core节点数大于500,可以联系华为云支持人员或者调用后台接口修改数据库。
    • 过小的节点容量会导致您的集群运行缓慢,而过大的节点容量会产生不必要的成本,请根据您要处理的数据对集群节点数量进行调整。

    数据盘

    Core节点数据磁盘存储空间。为增大数据存储容量,创建集群时可同时添加磁盘,有如下应用场景:

    • 数据存储和计算分离,数据存储在OBS中,集群存储成本低,存储量不受限制,并且集群可以随时删除,但计算性能取决于OBS访问性能,相对HDFS有所下降,建议在数据计算不频繁场景下使用。
    • 数据存储和计算不分离,数据存储在HDFS中,集群成本较高,计算性能高,但存储量受磁盘空间限制,删除集群前需将数据导出保存,建议在数据计算频繁场景下使用。

    目前支持SATA、SAS和SSD存储类型:

    • SATA:普通IO
    • SAS:高IO
    • SSD:超高IO

    取值范围:100GB~32000GB

    说明:
    • 创建的节点个数越多,对管理节点(即master节点)的硬盘容量要求越高。为了保证集群能够健康地运行,当创建的节点个数达到300时,建议将master的硬盘容量配置成600GB以上;当创建的节点个数达到500时,建议将master的硬盘容量配置成1TB以上。
    • Master节点自动为MRS Manager增加数据磁盘存储空间,硬盘类型与Core节点数据磁盘类型相同,但磁盘空间默认为200GB且不支持修改。

    数据盘加密

    是否对集群挂载的数据盘中的数据进行加密,默认关闭。如需使用该功能,当前用户必须拥有“Security Administrator”和“KMS Administrator”权限。

    加密数据盘使用的密钥由数据加密服务(DEW,Data Encryption Workshop)中的密钥管理(KMS,Key Management Service)功能提供,无需您自行构建和维护密钥管理基础设施,安全便捷。

    通过单击来关闭或开启数据盘加密功能,详情请参考云硬盘加密

    数据盘密钥名称

    “数据盘加密”功能开启时,需要配置该参数。选择用来加密数据盘的密钥名称,默认选择密钥名称为“evs/default”的默认主密钥,在下拉框中可以选择其他用户主密钥。

    使用用户主密钥加密云硬盘,若对用户主密钥执行禁用、计划删除等操作,将会导致云硬盘不可读写,甚至数据永远无法恢复,请谨慎操作。

    单击“查看密钥列表”,进入密钥管理页面可以创建及管理密钥。

    数据盘密钥ID

    “数据盘加密”功能开启时,显示该参数。用于显示已选择的密钥名称对应的密钥ID。

    表3 登录信息

    参数

    参数说明

    登录方式

    • 密码

      使用密码方式登录ECS节点。

      密码设置约束如下:

      1. 字符串类型,可输入的字符串长度为8-26。
      2. 至少包含三种字符组合,如大写字母,小写字母,数字,特殊字符(!@$%^-_=+[{}]:\,./?),但不能包含空格。
      3. 不能与用户名或者倒序用户名相同。
    • 密钥对

      使用密钥方式登录集群ECS节点。从下拉框中选择密钥对,如果已获取私钥文件,请勾选“我确认已获取该密钥对中的私钥文件SSHkey-bba1.pem,否则无法登录弹性云服务器”。如果没有创建密钥对,请单击“查看密钥对”创建或导入密钥,然后再获取私钥文件。

      密钥对即SSH密钥,包含SSH公钥和私钥。您可以新建一个SSH密钥,并下载私钥用于远程登录身份认证。为保证安全,私钥只能下载一次,请妥善保管。

      您可以通过以下两种方式中的任意一种使用SSH密钥。

      1. 创建SSH密钥:创建SSH密钥,同时会创建公钥和私钥,公钥保存在ECS系统中,私钥保存在用户本机。当登录弹性云服务器时,使用公钥和私钥进行鉴权。
      2. 导入SSH密钥:当用户已有公钥和私钥,可以选择将公钥导入系统。当登录弹性云服务器时,使用公钥和私钥进行鉴权。
    表4 购买时长配置

    参数

    参数说明

    购买时长

    包年/包月模式下购买集群的时长。最短时长为1个月,最长时长为1年。

    表5 高级配置信息

    参数

    参数说明

    现在配置

    单击“现在配置”,呈现添加标签、引导操作、添加作业。

    暂不配置

    暂不配置任何信息。

  4. 单击“立即购买”

    如果您对价格有疑问,可以单击“价格计算器”,根据计费详情来了解产品价格。

  5. 确认集群详情,若选择“包年/包月”集群请单击“提交订单”,若选择“按需计费”集群请单击“提交申请”,成功提交集群创建任务。
  6. 单击“返回集群列表”,可以查看到集群创建的状态。

    集群创建的状态过程请参见表1中的“状态”参数说明。

    集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。

    MRS系统界面支持同一时间并发创建10个集群,且最多支持管理集群100个。

    当创建集群时,您还可以创建处于Failed或者Terminated状态的同名集群。

集群创建失败

如果集群创建失败后,失败任务会自动转入“失败任务管理”页面。单击图1进入“失败任务管理”页面,在“任务状态”列中,将鼠标移动到上可以查看到失败原因,如图2所示。可以参见删除失败任务章节删除失败任务。

图1 失败任务管理
图2 失败原因

MRS集群创建失败错误码列表如表6所示。

表6 错误码

错误码

说明

MRS.101

用户请求配额不足,请联系客服提升配额。

MRS.102

用户Token为空或不合法,请稍后重试或联系客服。

MRS.103

用户请求不合法,请稍后重试或联系客服。

MRS.104

用户资源不足,请稍后重试或联系客服。

MRS.105

现子网IP不足,请稍后重试或联系客服。

MRS.201

因ECS服务导致失败,请稍后重试或联系客服。

MRS.202

因IAM服务导致失败,请稍后重试或联系客服。

MRS.203

因VPC服务导致失败,请稍后重试或联系客服。

MRS.400

MRS内部出错,请稍后重试或联系客服。

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

在文档使用中是否遇到以下问题







请至少选择或填写一项反馈信息

字符长度不能超过200

反馈内容不能为空!

提交反馈 取消