tencent cloud

对象存储

动态与公告
产品动态
产品公告
产品简介
产品概述
功能概览
应用场景
产品优势
基本概念
地域和访问域名
规格与限制
产品计费
计费概述
计费方式
计费项
免费额度
计费示例
查看和下载账单
欠费说明
常见问题
快速入门
控制台快速入门
COSBrowser 快速入门
用户指南
创建请求
存储桶
对象
数据管理
批量处理
全球加速
监控与告警
运维中心
数据处理
内容审核
智能工具箱
数据工作流
应用集成
工具指南
工具概览
环境安装与配置
COSBrowser 工具
COSCLI 工具
COSCMD 工具
COS Migration 工具
FTP Server 工具
Hadoop 工具
COSDistCp 工具
HDFS TO COS 工具
GooseFS-Lite 工具
在线辅助工具
自助诊断工具
实践教程
概览
访问控制与权限管理
性能优化
使用 AWS S3 SDK 访问 COS
数据容灾备份
域名管理实践
图片处理实践
COS 音视频播放器实践
工作流实践
数据直传
内容审核实践
数据安全
数据校验
大数据实践
COS 成本优化解决方案
在第三方应用中使用 COS
迁移指南
本地数据迁移至 COS
第三方云存储数据迁移至 COS
以 URL 作为源地址的数据迁移至 COS
COS 之间数据迁移
Hadoop 文件系统与 COS 之间的数据迁移
数据湖存储
云原生数据湖
元数据加速
数据加速器 GooseFS
数据处理
数据处理概述
图片处理
媒体处理
内容审核
文件处理
文档处理
故障处理
获取 RequestId 操作指引
通过外网上传文件至 COS 缓慢
访问 COS 时返回403错误码
资源访问异常
POST Object 常见异常
API 文档
简介
公共请求头部
公共响应头部
错误码
请求签名
操作列表
Service 接口
Bucket 接口
Object 接口
批量处理接口
数据处理接口
任务与工作流
内容审核接口
云查毒接口
SDK 文档
SDK 概览
准备工作
Android SDK
C SDK
C++ SDK
.NET(C#) SDK
Flutter SDK
Go SDK
iOS SDK
Java SDK
JavaScript SDK
Node.js SDK
PHP SDK
Python SDK
React Native SDK
小程序 SDK
错误码
鸿蒙(Harmony) SDK
终端 SDK 质量优化
安全与合规
数据容灾
数据安全
访问管理
常见问题
热门问题
一般性问题
计费计量问题
域名合规问题
存储桶配置问题
域名和 CDN 问题
文件操作问题
日志监控问题
权限管理问题
数据处理问题
数据安全问题
预签名 URL 问题
SDK 类问题
工具类问题
API 类问题
服务协议
Service Level Agreement
隐私政策
数据处理和安全协议
联系我们
词汇表

使用批量处理

PDF
聚焦模式
字号
最后更新时间: 2025-05-23 18:37:24

简介

对象存储(Cloud Object Storage,COS)批量处理功能可以实现对存储桶中的对象执行大规模批量操作,也可使用数据万象(CI)的音视频转码、语音识别等功能,对存储桶内指定文件进行批量处理。当前您可以对以下操作执行批量处理:
复制对象
恢复归档对象
音视频转码、视频抠图、语音合成等数据处理
您可以将需要处理的对象整理在一份对象清单文件中,该清单文件可以来源于清单功能生成的清单报告(需先 开启清单功能),也可以由您依据指定格式自行创建。 COS 批量处理功能可以根据这份对象清单文件进行批量处理。有关使用 COS 批量处理任务的详细信息,请参见 批量处理概述

操作步骤

2. 在左侧导航栏中,单击批量处理,进入批量处理管理页面。
3. 单击创建批量处理任务,开始创建批量处理任务。配置项说明如下:
任务名称:批量任务的自定义名称。
批量处理类型:选择 COS Batch 可进行复制、归档等基础操作,选择 独立任务与工作流 可使用数据万象的相关服务。
任务类型:当选择 COS Batch 时,可选批量数据复制、批量恢复归档类型对象、批量删除。
任务地域:选择创建任务的地域。任务地域需与您清单中待处理对象的存储桶地域一致,否则任务将失败。
清单报告
(1)若没有清单报告:请选择无,系统会在您所选择的清单存储桶中生成即时清单。您可根据需求设置清单信息,例如文件范围、对象版本、筛选标签及筛选时间。更多配置项说明请参见 设置清单



(2)若已有清单报告或 CSV:请选择有,并且选择清单所在的存储桶即可。



源存储桶:选择存放清单文件的存储桶。
说明:
目前批量处理功能支持中国大陆公有云地域、硅谷、圣保罗、新加坡地域。
清单格式:选择要使用清单对象的类型,有以下两种格式:
清单格式
字段
配置说明
COS 清单报告
-
可以选择 COS 生成的清单报告或者用户自定义的 CSV 文件。
CSV
Bucket
存储桶的名称。
Key
存储桶中的对象名称。 如果对象名称采用 URL 编码形式,必须解码成正常格式才能使用。
VersionId
对象版本 ID。在存储桶上启用版本控制后,COS 会为添加到存储桶的对象指定版本号。如果您希望使用并非最新的对象版本,则可以选择包含清单对象的版本 ID。
清单文件路径:选择清单文件或 CSV 文件所在路径,格式分别为 json 和 csv,例如您有一份清单文件保存在存储桶 examplebucket-1250000000 的根目录下,则清单路径为:manifest.json
清单 ETag:选择清单文件路径后,由系统自动生成。ETag(实体标签)是对象的哈希,ETag 仅反映对对象内容的更改,而不反映对其元数据的更改。ETag 不一定是对象数据的 MD5摘要,这取决于对象的创建方式和加密方式。
4. 单击下一步,按照配置项说明进行设置。



若上一步中选择批量数据复制,则配置项说明如下:
目标存储桶:希望将清单列表中的对象复制后存放的存储桶。
前缀操作:您可以选择对复制后的对象进行添加、替换或者删除前缀。
存储类型:对复制后的对象设置存储类型。可选标准存储、低频存储、归档存储、深度归档存储。
服务端加密:选择是否需要对复制后的对象进行加密,可选不加密、SSE-COS 加密。
访问权限:对复制后的对象设置访问权限,可选复制所有权限、替换所有权限、添加新权限 。
对象元数据:对复制后的对象设置元数据,可选复制所有元数据、替换所有元数据,添加新的元数据。
对象标签:对复制后的对象设置对象标签,可选复制所有标签、替换所有标签、添加新标签。
若上一步中选择批量恢复归档类型对象,则配置项说明如下:
恢复模式:可选标准模式、批量模式。恢复模式的介绍可参见 恢复归档对象
副本有效期:设置副本在多少天后自动过期删除,设置范围为最短1天,最长365天。
若上一步中选择批量删除,则进入步骤 5
5. 单击下一步,填写以下相关配置。



任务优先级:优先级高的任务会优先执行,可填正整数,数字越大表示优先级越高。
任务报告:可选择是否生成任务报告。
CAM 角色:您可以建立一个 CAM 角色或选择已有的 CAM 角色为 COS 授予操作权限。
注意:
批量处理操作需要您通过创建 CAM 角色的方式,来授予 COS 批量处理的权限,有关 CAM 角色详情可参见 CAM 角色概述
6. 单击下一步,核对您所填写的批量处理任务配置,并按需勾选此项,任务创建完成后会直接启动,请确保上述配置信息正确
如需修改,请单击对应的修改上一步



7. 确认无误后,单击创建创建并启动即可。
批量任务创建完成后,在任务列表中找到刚才已创建的任务。如需取消任务,可单击右侧的取消任务




帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈