tencent cloud

Elasticsearch Service

新手指引
动态与公告
产品动态
产品公告
安全公告
产品简介
产品概述
Elasticsearch 版本支持说明
产品功能
高级特性(X-Pack)
产品优势
应用场景
能力与限制说明
相关概念
购买指南
计费概述
产品定价
ES Serverless 服务定价
欠费说明
ES 内核增强
内核版本发布记录
定向路由优化
压缩算法优化
FST Off Heap 内存优化
快速入门
集群规格和容量配置评估
创建集群
访问集群
ES Serverless 服务指南
服务概述
基本概念
5分钟快速体验
快速使用
访问控制
数据写入
数据查询
索引管理
告警管理
ES API 参考
相关问题
数据应用指南
数据应用概述
数据管理
ES 集群指南
集群管理
访问控制
集群多可用区部署
集群扩缩容
集群配置
插件配置
监控与告警
日志查询
数据备份
升级
实践教程
数据迁移和同步
应用场景构建
索引设置
SQL 支持
企业微信机器人接收 Watcher 告警
API 文档
History
Introduction
API Category
Instance APIs
Making API Requests
Data Types
Error Codes
常见问题
产品相关问题
ES 集群
词汇表
新版介绍
Elasticsearch Service 2020.07新版
Elasticsearch Service 2020.2新版
Elasticsearch Service 2019.12新版

新建自治索引

PDF
聚焦模式
字号
最后更新时间: 2024-11-29 21:56:40

前提条件

已创建腾讯云账号,创建账号可参考 注册腾讯云
已创建Elasticsearch Service集群,且Elasticsearch版本为7.14.2,创建集群可参考 创建集群
注意:
当前仅支持新建 自治索引,自治索引由腾讯云自研,适用于时序数据(如日志分析、运维监控等)场景,能够实现索引生命周期管理和分片自动调优,并有效提高读写效率。自治索引适用于2022年6月1日之后创建的7.14.2版本集群,早于此时间创建的7.14.2版本集群重启后可支持。低于7.14.2版本的集群需升级至7.14.2版本。

操作步骤

步骤一:进入新建页面

1. 登录 ES 控制台,单击数据管理进入索引列表。
2. 单击新建索引进入新建页面。

步骤二:填写基础信息

索引名称:长度为1 - 255个字节,不支持中文,不能包含大写字母以及 \\,/, *, ?, ", <, >, |, #, :, 空格, 逗号,不能以 -, _, +, .开头。
所属集群:该索引所在的集群。

步骤三:填写索引配置信息

数据源配置

1. 字段映射
动态生成:默认开启,开启后将自动解析采集的数据源,生成索引的字段映射。
输入样例自动配置:关闭动态生成后,您可以通过输入样例自动配置来生成索引的字段映射,在输入框内输入一段 JSON 格式的数据样例,确定后平台将自动为您进行校验,校验无误后,相关字段将映射到字段映射的表格中。推导规则及样例如下: 推导规则:字段值为 true 或 false 映射类型为 boolean;字段值为整数映射类型为 long;字段值为浮点数映射类型为 double;字段值为字符串且长度小于等于36字符映射类型为 keyword;字段值为字符串且长度大于36字符映射类型为 text;字段值为日期格式字符串映射类型为 date;字段值支持嵌套映射类型为 object。我们在输入样例自动配置输入框中输入一段 JSON 格式的数据样例:
{
"bool_field": true,
"date_field": "2022/01/26 00:00:00",
"double_field": 3.14,
"keyword_field": "这是一行不需要分词的文本",
"long_field": 126,
"object_field": {
"sub_field": 2022
},
"text_field": "这是一行需要分词的文本,文本长度超过36个字符的会被推断为需要分词,定义为text类型"
}
其解析后的结果如图所示:


字段映射将原始数据按字段(即 key:value)分别切分为多个分词进行索引构建,检索时基于该映射进行检索。具体如下:
参数项
功能描述
字段名称
写入的数据中的字段名称
字段类型
字段的数据类型,包括'boolean、keyword、long、double、date、text'六种类型,更多字段类型可在 JSON 编辑模式中支持,可参考 官方说明
包含中文
字段中包含中文且需要对中文进行检索时可开启该功能,会增加索引存储。包含中文启用后,将默认对该 text 字段使用 ik_max_word 分词器
开启索引
启用后,会对该字段构建索引用于检索
开启统计
启用后,可以对字段值做统计分析,会增加索引存储
2. 时间字段 时间字段指在实际数据中类型为 date 的字段,该字段用于记录数据的时间,索引创建成功后该字段不可更改。
时间字段默认打开开启索引开启统计,且不可关闭。
关闭动态生成时,时间字段将把表格中为date类型的字段映射过来,您可下拉选择其中一个作为时间字段。
3. 写入模式 写入模式指数据写入到索引的模式,索引创建成功后不可更改。当前支持两种写入模式:
追加写(适用于日志场景): 表示数据会写入到最新的后备索引。
时间分区写(适用于监控场景): 表示会根据时间字段写入对应时间范围的后备索引。

生命周期配置

1. 存储分层 存储分层表示您可将索引根据其访问频率存储到不同属性的节点上。例如,您可将访问频率较低且更新频率较低的数据移入温层,以节约成本。索引迁移到不同层级的时间,将从索引滚动更新开始计算。
2. 过期删除 过期删除支持根据时间上限与空间上限删除历史数据。
时间上限:当写入模式为追加写时,表示从后备索引的创建时间开始算起,当达到指定的值时,该后备索引将会被删除;当写入模式为按时间分区写时,表示从后备索引结束写入的时间开始算起,当达到指定值时,该后备索引将会被删除。
空间上限:当自治索引的存储大小达到指定值时,将根据相关条件删除历史的后备索引。如写入模式为追加写,表示将从后备索引的创建时间开始算起,删除最旧的后备索引;当写入模式为按时间分区写时,表示将从后备索引结束写入的时间开始算起,删除最旧的后备索引。



高级设置

1. 创建参数
分片数设置:分片是索引中存储数据的单元,若动态调整打开,这里的分片数仅作为初始的后备索引的分片值,后续算法会自动优化为最佳值。
分片数动态调整:平台将根据业务负载动态调整分片,使得索引保持最佳状态。调整后的分片数,将在后续滚动出的后备索引中生效,已有的后备索引不会更新。
副本数:每个主分片拥有的副本分片的数量。
刷新频率:数据写入索引后能够被搜索到的时间间隔。
2. 索引滚动
滚动周期:从开始日期起,索引将以指定时间为周期,每一周期进行一次滚动。
滚动周期动态调整:平台将根据业务负载动态调整滚动周期,使得索引保持最佳状态。



JSON 编辑模式

1. 功能说明 当前支持通过切换到JSON 编辑模式创建索引,点击索引配置右上角切换至 JSON 模式即可进入 JSON 编辑页面。切换模式成功后,配置信息将自动同步到对应模式的界面中。
2. 常用参数说明 自治索引通过提供 options 以及 policy,帮助用户快速进行滚动更新以及生命周期管理相关的设置,同时,兼容 Elasticsearch 社区中 settings 与 mappings 的原生语法,降低使用门槛,常见参数如下:
类别
参数项
参数描述
填写说明
settings
index.number_of_shards
主分片数
数值类型,该值需为大于等于1的整数
index.number_of_replicas
副本数
数值类型,该值需为大于等于0的整数
index.refresh_interval
刷新频率
字符串类型,单位当前支持设为d(天)、h(小时)、m(分钟)、s(秒)、ms(毫秒)、micros(微秒)、nanos(纳秒),例如“30s”表示将刷新频率设为30秒
mappings
field
字段名称
字符串类型,非中文且不可重复
type
字段类型
字符串类型,可设为“boolean、keyword、long、double、date、text”,更多字段类型可参考 官方说明
analyzer
分词器
字符串类型,支持ES集群中存在的分词器,例如“ik_max_word”
index
开启索引
布尔类型,可设为“true”或者是“false”
doc_values
开启统计
布尔类型,可设为“true”或者是“false”
options
pre_create.enable
索引预创建
布尔类型,默认开启,可设为“true”或者是“false”。请注意,写入模式为追加写的情况下,如关闭了索引预创建,后备索引将不会按照指定的滚动周期进行滚动
rollover.dynamic
动态调整滚动周期
布尔类型,可设为“true”或者是“false”
rollover.max_age
滚动周期
字符串类型,单位可设为“d”天或者“h”小时,例如“1d”表示将滚动周期设为1天
shard_num.dynamic
动态调整分片
布尔类型,可设为“true”或者“false”
write_mode
写入模式
字符串类型,“append_only”表示追加写,“time_partition”表示按时间分区写
expire.max_age
过期删除时间上限
字符串类型,单位可设为“d”天或者“h”小时,例如“1d”表示将时间上限设为1天
expire.max_size
过期删除空间上限
字符串类型,单位可设为“PB、TB、GB、MB、KB、B”,例如“1TB”表示将空间上限设为1TB
policy
warm.actions.migrate
温阶段索引迁移设置
请查看官方说明 Migrate设置
warm.min_age
移入温层存储时间
字符串类型,单位可设为“d”天或者“h”小时,例如“1d”表示从索引滚动更新开始,1天后移入温层
cold.actions.migrate
冷阶段索引迁移设置
请查看官方说明 Migrate设置
cold.min_age
移入冷层存储时间
字符串类型,单位可设为“d”天或者“h”小时,例如“1d”表示从索引滚动更新开始,1天后移入冷层




创建完成

单击确认创建,索引创建成功后,将自动跳转到该索引所在的索引列表

后续步骤

索引检索与分析

数据管理支持快速跳转到检索以及分析界面,实现索引检索与分析。详情请参考 索引检索与分析

索引基础信息

数据管理支持在控制台查看索引的相关信息,以及进行后备索引的管理。详情请参考 索引基础信息

索引监控

数据管理提供了索引粒度的丰富的监控指标,可以帮助在索引使用过程中查看索引的实时监控数据。详情请参考 索引监控

索引配置管理

数据管理支持在控制台灵活地进行索引配置信息的修改,以适应业务的变化。修改配置成功后,生命周期的相关配置将在所有后备索引中生效,其他配置仅在后续滚动出的后备索引中生效,已有的后备索引不会更新。详情请参考 索引配置管理

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈