tencent cloud

弹性 MapReduce

Documentação弹性 MapReduceEMR 开发指南Ranger 开发指南Ranger 审计日志指南Ranger 审计日志存入腾讯云 ElasticSearch

Ranger 审计日志存入腾讯云 ElasticSearch

Download
Modo Foco
Tamanho da Fonte
Última atualização: 2025-01-03 15:02:25

前提条件

1. 支持 ranger2.1.0及以上版本，对应 EMR-2.7.0、EMR-3.2.1及以上版本。
2. 准备腾讯云ElasticSearch集群，创建过程可参考 ES 创建集群。
容量参考：以单个 Hive SQL 大小为1KB为例，单条记录大小约为20KB，即1GB可存储约52428条 Hive SQL。
3. 安全组开放9200端口，仅内网访问要求 EMR 集群和 ElasticSearch 集群在同一 VPC 内。
4. 示例：ElasticSearch 集群关键信息：
用户名：elastic
密码：MyPassword
内网Ip：10.206.48.118
端口：9200
传输协议：http

EMR 控制台操作步骤

1. 登录 EMR 控制台，在集群服务 > RANGER > 配置管理 > ranger-admin-site.xml 文件，修改配置项如下：
ranger.audit.source.type = elasticsearch
ranger.audit.elasticsearch.user = elastic
ranger.audit.elasticsearch.password = MyPassword
ranger.audit.elasticsearch.urls = 10.206.48.118
ranger.audit.elasticsearch.protocol = httpot
ranger.audit.elasticsearch.port = 9200
ranger.audit.elasticsearch.index = ranger_audits
ranger.audit.elasticsearch.bootstrap.enabled = true
2. 重启 Ranger 服务角色 EmbeddedServer。
3. 以 HIVE 为例，其它服务类似。进入集群服务 > HIVE > 配置管理，修改 ranger-hive-audit.xml文件 配置项如下，相应值和 ranger-admin-site.xml 文件保持一致。
ranger.audit.source.type = elasticsearch
ranger.audit.elasticsearch.user = elastic
ranger.audit.elasticsearch.password = MyPassword
ranger.audit.elasticsearch.urls = 10.206.48.118
ranger.audit.elasticsearch.protocol = httpot
ranger.audit.elasticsearch.port = 9200
ranger.audit.elasticsearch.index = ranger_audits
ranger.audit.elasticsearch.bootstrap.enabled = true
4. 重启 HIVE 角色 HiveServer2
Anterior: Ranger 审计日志存入 SolrPróximo: Kafka 简介

Ajuda e Suporte

Esta página foi útil?

comentários