tencent cloud

对象存储

动态与公告
产品动态
产品公告
产品简介
产品概述
功能概览
应用场景
产品优势
基本概念
地域和访问域名
规格与限制
产品计费
计费概述
计费方式
计费项
免费额度
计费示例
查看和下载账单
欠费说明
常见问题
快速入门
控制台快速入门
COSBrowser 快速入门
用户指南
创建请求
存储桶
对象
数据管理
批量处理
全球加速
监控与告警
运维中心
数据处理
内容审核
智能工具箱
数据工作流
应用集成
工具指南
工具概览
环境安装与配置
COSBrowser 工具
COSCLI 工具
COSCMD 工具
COS Migration 工具
FTP Server 工具
Hadoop 工具
COSDistCp 工具
HDFS TO COS 工具
GooseFS-Lite 工具
在线辅助工具
自助诊断工具
实践教程
概览
访问控制与权限管理
性能优化
使用 AWS S3 SDK 访问 COS
数据容灾备份
域名管理实践
图片处理实践
COS 音视频播放器实践
工作流实践
数据直传
内容审核实践
数据安全
数据校验
大数据实践
COS 成本优化解决方案
在第三方应用中使用 COS
迁移指南
本地数据迁移至 COS
第三方云存储数据迁移至 COS
以 URL 作为源地址的数据迁移至 COS
COS 之间数据迁移
Hadoop 文件系统与 COS 之间的数据迁移
数据湖存储
云原生数据湖
元数据加速
数据加速器 GooseFS
数据处理
数据处理概述
图片处理
媒体处理
内容审核
文件处理
文档处理
故障处理
获取 RequestId 操作指引
通过外网上传文件至 COS 缓慢
访问 COS 时返回403错误码
资源访问异常
POST Object 常见异常
API 文档
简介
公共请求头部
公共响应头部
错误码
请求签名
操作列表
Service 接口
Bucket 接口
Object 接口
批量处理接口
数据处理接口
任务与工作流
内容审核接口
云查毒接口
SDK 文档
SDK 概览
准备工作
Android SDK
C SDK
C++ SDK
.NET(C#) SDK
Flutter SDK
Go SDK
iOS SDK
Java SDK
JavaScript SDK
Node.js SDK
PHP SDK
Python SDK
React Native SDK
小程序 SDK
错误码
鸿蒙(Harmony) SDK
终端 SDK 质量优化
安全与合规
数据容灾
数据安全
访问管理
常见问题
热门问题
一般性问题
计费计量问题
域名合规问题
存储桶配置问题
域名和 CDN 问题
文件操作问题
日志监控问题
权限管理问题
数据处理问题
数据安全问题
预签名 URL 问题
SDK 类问题
工具类问题
API 类问题
服务协议
Service Level Agreement
隐私政策
数据处理和安全协议
联系我们
词汇表

快速入门

PDF
聚焦模式
字号
最后更新时间: 2024-01-06 11:17:58

简介

云原生数据湖存储服务可以帮助您快速在容器服务(Tencent Kubernetes Engine,TKE)上部署一套基于对象存储(Cloud Object Storage,COS)的数据湖存储服务。您可以通过云原生数据湖存储服务,快速在一个 TKE 或者 EKS 集群上部署各类业务所需的大数据服务应用和 AI 服务应用,同时通过数据加速器 GooseFS 对接海量分布式存储服务。

概念和术语

使用云原生数据湖存储服务,您可以阅读以下说明初步了解相关的概念和术语
环境:用于维护云原生数据湖存储中计算集群和存储服务之间的映射关系,推荐您统一从这入口管理计算集群和存储服务。
注意
如果您需要删除计算集群,建议您先清除云原生数据湖存储环境,然后在容器服务控制台上删除计算集群。
计算集群:用于运行各类计算业务的容器集群,您可以创建 TKE 集群或者 EKS 集群。
存储服务:特指对象存储服务,用于存储各类用于计算业务的数据。
应用市场:用于运行各类计算业务的应用组件,例如 Flink、Spark 等,您可以在创建环境时按需选择所需的应用。
注意
当您的容器集群被销毁时,您部署的应用也会被销毁。请谨慎进行删除操作。
数据加速器 GooseFS:可用于纳管不同的底层存储桶,并将热点数据缓存在计算集群中,加速您的计算业务。
您还可以通过如下文档预先了解一些基础信息:
对象存储 COS 服务:您可以通过 快速入门 了解如何创建存储桶并在存储桶中上传和下载文件。
容器服务:您可以通过 快速入门了解如何创建一个 TKE 集群或者 EKS 集群。
应用市场:您可以通过容器服务提供的 应用市场 了解如何在集群中创建并部署应用。
数据加速器 GooseFS:该服务可用于统一纳管不同的底层存储桶,并加速您的业务访问。

前提条件

当前云原生数据湖存储服务属于白名单能力,如果您需要使用,请 联系我们 开白使用。
云原生数据湖存储服务依赖容器服务和对象存储服务,您在使用过程中需要确保拥有权限操作计算服务和存储服务。如果您使用子账号登录,请确保该子账号至少拥有如下权限:
对象存储服务的存储桶和文件操作权限:
存储桶操作权限:如果需要管理存储桶配置,请联系主账号获取对应存储桶配置的操作权限;一般情况下该存储桶配置权限不影响数据读写,无需额外配置,最多授权读配置操作权限即可(例如 QcloudCOSBucketConfigRead 策略集)。
文件操作权限:一般情况下计算作业需要读写存储桶中的文件,可以联系主账号授权文件全读写权限(例如 QcloudCOSDataFullControl)或者由主账号按照 最小权限原则 授权。
容器集群的管理权限:
集群操作权限:一般情况需要授权集群的创建和操作权限,您可以参考 使用 TKE 预设策略授权 完成配置。
集群管理权限:TKE 提供了对接 Kubernetes RBAC 的授权模式,便于对子账号进行细粒度的访问权限控制,子账号操作时还需要参考TKE Kubernetes 对象级权限控制。
应用市场操作权限:应用市场依赖了镜像仓库操作,您可以参考 TKE 镜像仓库资源级权限设置 为子账号完成授权。

操作步骤

完整的操作步骤大致分为:创建环境、关联集群、部署计算应用、关联存储服务、管理环境等关键步骤,具体操作指引如下。
2. 在左侧边导航栏中,单击云原生数据湖存储,进入云原生数据湖存储服务界面。
3. 在云原生数据湖存储服务界面中,页面视图会展示能力介绍、部署指引两部分内容:
我们会默认为您显示部署指引,您可以单击右上方的收起指引关闭指引导航。
云原生数据湖存储环境列表展示页面支持搜索。对于已存在环境,您可以进行如下操作:
单击环境名称,进入环境详情页面管理环境。
单击关联集群,打开 TKE 控制台进入对应集群详情页面。
单击关联存储桶,进入存储桶页面查看桶里的文件信息。
4. 单击创建环境,进入环境创建流程。 创建环境需要先选择对应的容器计算集群,其需要配置如下参数:
环境名称:用于标记环境信息,最长支持63个字符,全局唯一。
地域:选择容器集群的地域信息。
集群类型:可选 TKE 集群和 EKS 集群,如果当前地域下无集群,您可以单击创建容器集群,前往容器服务控制台新建集群。
集群:在指定地域指定集群类型的条件下,用于部署计算应用服务、运行计算作业的集群名称。
计算应用:运行计算作业所需的应用服务,当前默认支持了 Flink、big-data-suite、colocation、airflow、pytorch 和 spark-operator 等应用,您可以按需选择;如果您需要部署自定义应用,可以前往容器服务控制台上自行部署。应用支持多选。
5. 单击下一步,进入到存储桶配置页面视图。 您可以在该页面下为计算集群配置不同的存储桶,我们默认提供了数据加速器 GooseFS 服务,用于纳管不同存储桶并将数据缓存到计算集群的本地节点,用于加速计算作业。其需要配置如下参数:
地域信息:无法编辑,默认跟随计算集群所选地域。该地域下如果没有可选存储桶,您可以单击创建存储桶,新建一个存储桶用于计算任务使用。
存储桶:支持选择指定地域下的多个存储桶。支持只挂载存储桶中的某个文件目录。
注意
如果是挂载整个存储桶,那么无需输入第二个输入框;如果需要指定目录,可以通过输入目录名称来实现,格式形如prefix/*
启用 GooseFS:GooseFS 服务用于加速计算作业性能,默认启用,无法更改。不会产生额外的费用消耗。
6. 单击下一步,进入到 GooseFS 应用配置页面视图。 由于在数据湖环境下,所有的计算任务均需要通过 GooseFS 服务来访问 COS,因此需要为 GooseFS 配置有权限访问指定存储桶的 secretId 和 secretKey。
7. 单击下一步,确认信息。
8. 如果您需要修改配置项,可单击修改对配置信息进行更改。确认无误后,单击创建环境,即可完成创建环境操作。返回环境列表并刷新,即可看到新建的云原生数据湖存储环境。 如果您需要删除环境,可以在环境列表单击删除,并在弹窗中确认本次删除操作即可。
9. 单击列表环境名称,可以进入基本信息页面。 我们使用了三个卡片视图分别描述环境信息、计算集群信息、存储桶信息。
数据湖环境信息:用于展示环境的名称、地域、关联的计算集群、存储服务和创建时间等信息。
计算集群信息:用于展示计算集群的名称、节点数量、CPU、内存、GPU 用量等基础信息。如果需要了解计算集群详情,您可以单击查看详情,跳转到容器服务控制台查看。
存储桶信息:用于展示计算集群绑定的存储桶名称、文件路径和 GooseFS 使用状态。如果您需要查看存储服务详情,可以单击查看详情查看。
以上步骤全部完成后,您即可完成一个数据湖环境创建流程。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈