tencent cloud

弹性 MapReduce

动态与公告
产品动态
产品公告
安全公告
产品简介
产品概述
产品优势
产品架构
产品功能
应用场景
约束与限制
技术支持范围
产品发行版
购买指南
EMR on CVM 计费说明
EMR on TKE 计费说明
EMR Serverless HBase 计费说明
快速入门
EMR on CVM 快速入门
EMR on TKE 快速入门
EMR on CVM 操作指南
规划集群
管理权限
配置集群
管理集群
管理服务
监控告警
智能管家
EMR on TKE 操作指南
EMR on TKE 简介
配置集群
管理集群
管理服务
监控运维
应用分析
EMR Serverless HBase 操作指南
EMR Serverless HBase 产品简介
配额与限制
规划实例
管理实例
监控告警
开发指南
EMR 开发指南
Hadoop开发指南
Spark 开发指南
HBASE开发指南
Phoenix on Hbase 开发指南
Hive 开发指南
Presto开发指南
Sqoop 开发指南
Hue 开发指南
Oozie 开发指南
Flume 开发指南
Kerberos 开发指南
Knox 开发指南
Alluxio 开发指南
Kylin 开发指南
Livy 开发指南
Kyuubi 开发指南
Zeppelin 开发指南
Hudi 开发指南
Superset 开发指南
Impala 开发指南
Druid 开发指南
Tensorflow 开发指南
Kudu 开发指南
Ranger 开发指南
Kafka 开发指南
Iceberg 开发指南
StarRocks 开发指南
Flink 开发指南
JupyterLab 开发指南
MLflow 开发指南
实践教程
EMR on CVM 运维实践
数据迁移实践
自定义伸缩实践教程
API 文档
History
Introduction
API Category
Cluster Resource Management APIs
Cluster Services APIs
User Management APIs
Data Inquiry APIs
Scaling APIs
Configuration APIs
Other APIs
Serverless HBase APIs
YARN Resource Scheduling APIs
Making API Requests
Data Types
Error Codes
常见问题
EMR on CVM常见问题
服务等级协议
联系我们

引导操作

PDF
聚焦模式
字号
最后更新时间: 2023-12-27 10:02:16

功能介绍

引导脚本操作是在生产集群的过程中执行自定义脚本,以便您修改集群环境、安装第三方软件和使用自有数据,引导操作会在集群创建(含扩容)和集群销毁(含缩容)时运行引导脚本(router 节点除外)。 目前控制台只支持集群创建和销毁集群时指定引导操作,您可使用 API 扩缩容时指定引导操作,如未指定,扩容时将默认执行创建时指定的引导操作;缩容时将默认执行销毁集群时指定的引导操作。
1. 集群创建(含扩容)时指定的引导操作支持在如下三个时机执行: a. 主机初始化后:在机器资源初始化之后和安装EMR集群软件之前。 b. 集群启动前:在集群服务启动之前。 c. 集群启动后:在集群服务启动之后。
2. 集群销毁(含缩容)时指定的引导操作支持在如下1个时机执行: a. 服务下线前:在集群服务下线前。 引导操作会在集群创建和集群扩容时运行引导脚本,引导脚本按照脚本添加的顺序依次执行,引导操作累计不超过16个。
注意
先创建按量付费的小集群测试引导操作是否成功,测试成功后再创建正式集群。

操作步骤

方法一:在 购买页 创建集群时添加引导操作。
1. 选择基础配置 > 高级设置 > 添加引导操作,即可添加引导操作。


2. 添加引导操作完成支持编辑与删除操作。


选择运行时机,并填写相关参数。
名称:建议与您的“对象名称”保持一致。
脚本位置:建议从 COS 详情页进行复制。进入 COS 控制台,单击存储桶列表,选择您需要的脚本,然后在操作项中选择详情。 在详情页,即可看到“对象名称”和“对象地址”。
参数:执行脚本的参数。不同的参数以空格分割,参数中不能有空格,“参数”和“脚本名”之和小于240个字符。
方法二:在集群基本信息页添加引导操作
1. 登录 EMR 控制台,在集群列表中单击对应的集群 ID/名称进入集群详情页。然后选择基本信息 > 引导操作,单击添加引导操作,即可添加引导操作。
2. 添加引导操作完成支持编辑与删除操作。选择运行时机,并填写相关参数。
名称:建议与您的“对象名称”保持一致。
脚本位置:建议从 COS 详情页进行复制。进入 COS 控制台,单击存储桶列表,选择您需要的脚本,然后在操作项中选择详情
参数:执行脚本的参数。不同的参数以空格分割,参数中不能有空格,“参数”和“脚本名”之和小于240个字符。

查看引导结果

目前控制台不支持扩容时指定引导操作,扩容时默认执行创建时指定的引导操作。您可以使用 API 扩容指定引导操作。如果扩容时指定了引导操作,则执行您指定的引导操作;若未指定,则执行创建时候的引导操作。
1. 在脚本的系统日志中查看引导结果。
日志和执行的脚本文件保存都放到 /usr/local/service/scripts/ 这目录下,脚本的系统日志是 script_syslog。命名规则为:“执行顺序” + “_” +“运行时机”+ “脚本名”+“_”+stderr。
命名规则为:“执行顺序” + “_” + “运行时机”+“脚本名”+“_”+stdout。
注意
i.所有的节点类型都会执行,同时在每个节点上保存脚本文件和执行脚本的输出 log 文件。
引导脚本内容需使用 utf8 编码。
2. 在任务中心查看引导结果 登录 EMR 控制台,单击左侧菜单栏任务中心或进入单个集群单击右上角任务,选择对应流程(创建集群、扩容、节点初始化),在任务详情的初始化服务操作步骤中可单击运行详情查看引导结果。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈