更新时间:2022-07-19 GMT+08:00

准备Linux客户端运行环境

MapReduce的运行环境可以部署在Linux环境下。您可以按照如下操作完成运行环境准备。

操作步骤

  1. 确认服务端YARN组件和MapReduce组件已经安装,并正常运行。
  2. 客户端运行环境已安装1.7或1.8版本的JDK。
  3. 客户端机器的时间与Hadoop集群的时间要保持一致,时间差小于5分钟。

    MRS集群的时间可通过登录主管理节点(集群管理IP地址所在节点)运行date命令查询。

  4. 下载MapReduce客户端程序到客户端机器中。

    1. 登录MRS Manager系统。

      在浏览器地址栏中输入访问地址,地址格式为“https://MRS Manager系统的WebService浮动IP地址:8080/web”。例如,在IE浏览器地址栏中,输入“https://10.10.10.172:8080/web”。

    2. 选择“服务管理 > 下载客户端”,下载客户端程序到客户端机器。

  5. 解压缩客户端文件包MRS_Services_Client.tar。安装包为tar格式,执行如下命令解压两次。

    tar -xvf /opt/MRS_Services_Client.tar

    tar -xvf /opt/MRS_Service_ClientConfig.tar

  6. 为运行环境设置环境变量,假设安装包解压路径为“MRS_Services_ClientConfig/”。

    进入解压文件夹,执行如下命令安装客户端。

    sh install.sh {client_install_home}

  7. 进入客户端安装目录,执行如下命令初始化环境变量。

    source bigdata_env

  8. 5.2.2-准备开发用户中下载的user.keytab和krb5.conf文件拷贝到Linux环境的“/opt/conf”目录下,可参考5.4.1-编译并运行程序

    在二次开发过程中,PRINCIPAL需要用到的用户名,应该填写为带域名的用户名,例如创建的用户为test,域名为HADOOP.COM,则其PRINCIPAL用户名则为test@HADOOP.COM,代码举例:

    conf.set(PRINCIPAL, "test@HADOOP.COM");

  9. 执行命令kinit -kt /opt/conf/user.keytab test。

    这里的user.keytab文件路径为Linux机器上配置文件的存放路径,后面的test用户名可以更改为5.2.2-准备开发用户中新建的用户名。