tencent cloud

对象存储

动态与公告
产品动态
产品公告
产品简介
产品概述
功能概览
应用场景
产品优势
基本概念
地域和访问域名
规格与限制
产品计费
计费概述
计费方式
计费项
免费额度
计费示例
查看和下载账单
欠费说明
常见问题
快速入门
控制台快速入门
COSBrowser 快速入门
用户指南
创建请求
存储桶
对象
数据管理
批量处理
全球加速
监控与告警
运维中心
数据处理
内容审核
智能工具箱
数据工作流
应用集成
工具指南
工具概览
环境安装与配置
COSBrowser 工具
COSCLI 工具
COSCMD 工具
COS Migration 工具
FTP Server 工具
Hadoop 工具
COSDistCp 工具
HDFS TO COS 工具
GooseFS-Lite 工具
在线辅助工具
自助诊断工具
实践教程
概览
访问控制与权限管理
性能优化
使用 AWS S3 SDK 访问 COS
数据容灾备份
域名管理实践
图片处理实践
COS 音视频播放器实践
工作流实践
数据直传
内容审核实践
数据安全
数据校验
大数据实践
COS 成本优化解决方案
在第三方应用中使用 COS
迁移指南
本地数据迁移至 COS
第三方云存储数据迁移至 COS
以 URL 作为源地址的数据迁移至 COS
COS 之间数据迁移
Hadoop 文件系统与 COS 之间的数据迁移
数据湖存储
云原生数据湖
元数据加速
数据加速器 GooseFS
数据处理
数据处理概述
图片处理
媒体处理
内容审核
文件处理
文档处理
故障处理
获取 RequestId 操作指引
通过外网上传文件至 COS 缓慢
访问 COS 时返回403错误码
资源访问异常
POST Object 常见异常
API 文档
简介
公共请求头部
公共响应头部
错误码
请求签名
操作列表
Service 接口
Bucket 接口
Object 接口
批量处理接口
数据处理接口
任务与工作流
内容审核接口
云查毒接口
SDK 文档
SDK 概览
准备工作
Android SDK
C SDK
C++ SDK
.NET(C#) SDK
Flutter SDK
Go SDK
iOS SDK
Java SDK
JavaScript SDK
Node.js SDK
PHP SDK
Python SDK
React Native SDK
小程序 SDK
错误码
鸿蒙(Harmony) SDK
终端 SDK 质量优化
安全与合规
数据容灾
数据安全
访问管理
常见问题
热门问题
一般性问题
计费计量问题
域名合规问题
存储桶配置问题
域名和 CDN 问题
文件操作问题
日志监控问题
权限管理问题
数据处理问题
数据安全问题
预签名 URL 问题
SDK 类问题
工具类问题
API 类问题
服务协议
Service Level Agreement
隐私政策
数据处理和安全协议
联系我们
词汇表

批量处理概述

PDF
聚焦模式
字号
最后更新时间: 2024-01-06 11:09:25
对象存储(Cloud Object Storage,COS)批量处理功能可以让您对存储桶内指定的对象列表执行指定的操作。您可以通过清单功能生成一份对象清单作为指定的对象列表,或者将您需要处理的对象依照清单文件的格式记录在一份 CSV 格式的文件中,COS 批量处理功能将根据这份对象清单文件进行批量处理。
如需进一步了解清单功能,请参见 清单功能概述
当前 COS 批量处理功能仅支持以下指定操作:
您可以通过 COS 控制台来使用 COS 批量处理功能,具体可参见 批量处理

原理

当您需要执行批量处理操作时,首先需要建立批量处理任务,在批量处理任务中包含了要对对象列表执行指定操作所需的所有信息,您可以使用清单作为对象列表。
当您提供了对象清单,建立并启动批量处理任务后,批量处理功能将对清单内的对象逐一执行您指定的操作。任务正在执行时,您可以通过 COS 控制台监控该任务的执行状态,同时您也可以指定其在完成任务后输出相应的任务报告。任务报告将详细描述您本次任务中所执行的每一项操作的状态。
注意
批量处理功能仅对当前存储桶内的对象有效,如您需要批量处理其他存储桶的对象数据,请在相应存储桶内开启批量处理功能。

对象清单

对象清单是一份记录了待处理的所有对象的列表。如您需要创建一项批量处理任务,首先需提供一份对象清单,以告知 COS 您需要处理的对象。您需要将这一份对象清单文件存放在存储桶中,并提供这一份文件的名称、ETag 和 VersionID(如果有)等信息。您可以通过以下两种方式创建对象清单:
COS 清单功能:该功能输出 CSV 格式的对象清单。有关对象清单的详细信息,您可以参见 清单功能概述。如您的对象清单中包含对象的版本 ID 信息,那么 COS 在执行批量处理时将处理相应版本 ID 的对象。
配置 CSV 文件:该文件中每一行均必须包含存储桶名称、待处理的对象名称,如果存储桶同时开启了版本控制,则还需包含对象版本 ID。如您未曾开启过版本控制功能,可忽略对象版本 ID 信息。CSV 文件配置的格式如下:
examplebucket-appid, exampleobject, PZ9ibn9D5lP6p298B7S9_ceqx1n5EJ0p
examplebucket-appid, exampleobject, jbo9_jhdPEyB4RrmOxWS0kU0EoNrU_oI
注意
如果您的存储桶已开启或者曾经开启过版本控制,并且希望对指定的对象版本执行批量处理,您必须在对象清单中提供该对象的版本 ID 信息。
如果您的存储桶已开启或者曾经开启过版本控制,但您在对象清单中未指定版本 ID,COS 将默认对最新版本的对象进行操作。
当您在创建任务之前上传了与待处理对象同名的对象文件,COS 将默认处理最新版本的对象,而不是创建对象清单时的对象。避免此类操作的方式是开通版本控制功能,并在对象清单中指定版本 ID。
您可以在对象清单中包含存储桶内所有对象,但需注意 COS 在处理海量对象时,任务执行过程会花费较长的时间。

批量处理任务

本部分详细描述如何创建批量处理任务,以及当您创建批量处理任务完成后,系统的反馈情况。
创建批量处理任务需要提供以下信息:
类型
说明
操作
您需要明确对清单中的待处理对象执行何种操作。每一个操作均可以配置相应的参数,COS 将会根据这些操作的配置信息,依次处理清单中的对象。
对象清单
对象清单是一份记录了待处理的所有对象的文件。您可以通过清单功能创建一份对象清单,详见 清单功能概述。或者您自行将待处理的对象按照清单文件的格式记录在一份 CSV 格式的文件中,并以此作为对象清单。
优先级
您可以使用优先级来标识当前批量处理任务相对于其他批量处理任务的优先状态。任务优先级并不直接决定您任务完成的先后顺序。如您需要控制多个任务顺序执行,需要您自行检测任务执行状态,在一个任务结束后开始下一个任务。
规则权限
当您配置批量处理任务后,需要保证您的账号具有相应的 IAM 权限执行批量处理操作。例如,您配置了批量处理任务以批量执行PUT Object-copy操作,此时您应该确保您在源存储桶中具备Get Object的授权,同时也应当确保您在目标存储桶中具备PUT Object的授权。此外,对于任意批量处理任务,您都应当保证您具有读取对象清单和写入任务报告的权限。有关权限配置的详细信息,可参见 权限配置存储桶访问策略
任务报告
您可以配置在任务完成后输出任务报告。如果您需要输出任务报告,您需要在创建批量处理任务时填写相应的参数,以确保系统能将您的任务报告正确输出至指定存储桶。必填的信息包括存放任务报告的存储桶,任务报告的格式,任务报告是否包含所有任务信息等,任务报告的文件前缀是可选项。
任务描述(可选)
您可以为您创建的批量处理任务提供256字节的任务描述,帮助您跟踪和监控您的任务。COS 将在您的控制台上展示任务描述的详细信息。您可以根据任务描述方便地排列或者过滤您创建的任务。任务描述可以是重复的内容,您可以为相近的任务配置同一任务描述(例如,每周同步复制日志数据),以实现同类任务的管理。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈