在线服务的 AuthToken 数据
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Base | AuthTokenBase | 否 | AuthToken 基础信息 |
| Limits | Array of AuthTokenLimit | 否 | AuthToken 限流数组 |
AuthToken 的基础信息
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Value | String | 否 | token 值 |
| Name | String | 否 | token 别名 |
| Description | String | 否 | token 描述 |
| CreateTime | String | 否 | token 创建时间 |
| Status | String | 否 | token状态 |
| Id | String | 否 | token的唯一id,与value一一对应,重置后id也会一并变化 |
AuthToken 限流信息
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Strategy | String | 否 | 限频策略:PerMinute 每分钟限频;PerDay 每日限频 |
| Max | Integer | 否 | 上限值 |
CBS存储配置
被如下接口引用:CreateTrainingTask。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| VolumeSizeInGB | Integer | 是 | 存储大小 |
CFS存储的配置
被如下接口引用:CreateTrainingTask, DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Id | String | 是 | cfs的实例的ID |
| Path | String | 是 | 存储的路径 |
| MountType | String | 否 | cfs的挂载类型,可选值为:STORAGE、SOURCE 分别表示存储拓展模式和数据源模式,默认为 STORAGE |
| Protocol | String | 否 | 协议 1: NFS, 2: TURBO |
| IsPresetStorage | Boolean | 否 | 是否平台预置存储 |
配置CFSTurbo参数
被如下接口引用:CreateTrainingTask。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Id | String | 否 | CFSTurbo实例id |
| Path | String | 否 | CFSTurbo路径 |
代码仓库配置
被如下接口引用:CreateTrainingTask。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Id | String | 是 | 代码仓库Id |
| TargetPath | String | 是 | 代码仓下载目标地址 |
容器信息
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Name | String | 是 | 名字 |
| ContainerId | String | 是 | id |
| Image | String | 是 | 镜像地址 |
| Status | ContainerStatus | 是 | 容器状态 |
容器状态
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| RestartCount | Integer | 是 | 重启次数 |
| State | String | 是 | 状态 |
| Ready | Boolean | 是 | 是否就绪 |
| Reason | String | 是 | 状态原因 |
| Message | String | 是 | 容器的错误信息 |
cos的路径信息
被如下接口引用:CreateTrainingTask, DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Bucket | String | 是 | 存储桶 |
| Region | String | 是 | 所在地域 |
| Paths | Array of String | 是 | 路径列表,目前只支持单个 |
定时扩缩任务
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Schedule | String | 是 | Cron表达式,标识任务的执行时间,精确到分钟级 |
| Name | String | 否 | 定时任务名 |
| TargetReplicas | Integer | 否 | 目标实例数 |
| MinReplicas | Integer | 否 | 目标min |
| MaxReplicas | Integer | 否 | 目标max |
| ExcludeDates | Array of String | 否 | 例外时间,Cron表达式,在对应时间内不执行任务。最多支持3条。 |
跨租户弹性网卡下Pod调用信息
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| PrimaryIP | String | 否 | Pod IP |
| Port | String | 否 | Pod Port |
数据配置
被如下接口引用:CreateTrainingTask。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| MappingPath | String | 否 | 映射路径 |
| DataSourceUsage | String | 否 | 存储用途 |
| DataSourceType | String | 否 | DATASET、COS、CFS、CFSTurbo、GooseFSx、HDFS、WEDATA_HDFS |
| DataSetSource | DataSetConfig | 否 | 来自数据集的数据 |
| COSSource | CosPathInfo | 否 | 来自cos的数据 |
| CFSSource | CFSConfig | 否 | 来自CFS的数据 |
| HDFSSource | HDFSConfig | 否 | 来自HDFS的数据 |
| GooseFSSource | GooseFS | 否 | 配置GooseFS的数据 |
| CFSTurboSource | CFSTurbo | 否 | 配置TurboFS的数据 |
| LocalDiskSource | LocalDisk | 否 | 来自本地磁盘的信息 |
| CBSSource | CBSConfig | 否 | CBS配置信息 |
| HostPathSource | HostPath | 否 | 主机路径信息 |
| PublicDataSource | PublicDataSourceFS | 否 | 公有云数据源 |
| ReadOnly | Boolean | 否 | 是否是只读存储 |
数据集结构体
被如下接口引用:CreateTrainingTask。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Id | String | 是 | 数据集ID |
编码后的启动命令信息
被如下接口引用:CreateTrainingTask。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| StartCmdInfo | String | 否 | 任务的启动命令,以base64格式输入,注意转换时需要完整输入{"StartCmd":"","PsStartCmd":"","WorkerStartCmd":""} |
环境变量
被如下接口引用:CreateTrainingTask, DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Name | String | 否 | 环境变量key |
| Value | String | 否 | 环境变量value |
执行命令探针检查行为
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Command | Array of String | 否 | 执行命令列表 |
暴露网络配置
被如下接口引用:CreateTrainingTask。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| SSHConfig | SSHConfig | 否 | ssh配置 |
| ExposePortConfig | ExposePortConfig | 否 | 容器端口暴露到公网配置 |
暴露端口信息
被如下接口引用:CreateTrainingTask。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Enable | Boolean | 否 | 是否开启暴露容器服务端口 |
| VpcId | String | 否 | vpc id |
| ClbId | String | 否 | clb id |
| ClbHost | String | 否 | clb domain |
过滤器
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Name | String | 否 | 过滤字段名称 |
| Values | Array of String | 否 | 过滤字段取值 |
| Negative | Boolean | 否 | 是否开启反向查询 |
| Fuzzy | Boolean | 否 | 是否开启模糊匹配 |
描述网关相关配置
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| GatewayType | String | 否 | 网关类型 |
| SchedulingAlgorithm | String | 否 | 网关调度算法:轮询、一致性哈希等 |
| HashHeaderKey | String | 否 | 一致性哈希使用的Header字段名 |
配置GooseFS参数
被如下接口引用:CreateTrainingTask。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Id | String | 否 | goosefs实例id |
| Type | String | 否 | GooseFS类型,包括GooseFS和GooseFSx |
| Path | String | 否 | GooseFSx实例需要挂载的路径 |
| NameSpace | String | 否 | GooseFS命名空间 |
| MountOptions | String | 否 | 客户端的挂载参数,逗号分隔的参数名 |
GosseFSx的配置
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Id | String | 否 | goosefsx实例id |
| Path | String | 否 | GooseFSx实例需要挂载的路径 |
gpu 详情
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Name | String | 否 | GPU 显卡类型;枚举值: V100 A100 T4 |
| Value | Integer | 否 | GPU 显卡数;单位为1/100卡,比如100代表1卡 |
HDFS的参数配置
被如下接口引用:CreateTrainingTask。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Id | String | 是 | 集群实例ID,实例ID形如: emr-xxxxxxxx |
| Path | String | 是 | 路径 |
http get 行为
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Path | String | 否 | http 路径 |
| Port | Integer | 否 | 调用端口 |
健康探针
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| LivenessProbe | Probe | 否 | 存活探针 |
| ReadinessProbe | Probe | 否 | 就绪探针 |
| StartupProbe | Probe | 否 | 启动探针 |
hpa的描述
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| MinReplicas | Integer | 是 | 最小实例数 |
| MaxReplicas | Integer | 是 | 最大实例数 |
| HpaMetrics | Array of Option | 是 | 支持: "gpu-util": GPU利用率。范围{10, 100} "cpu-util": CPU利用率。范围{10, 100} "memory-util": 内存利用率。范围{10, 100} "service-qps": 单个实例QPS值。范围{1, 5000} "concurrency-util":单个实例请求数量值。范围{1,100000} |
| ScaleUpStabilizationWindowSeconds | Integer | 否 | 扩容观察期,单位秒 |
| ScaleDownStabilizationWindowSeconds | Integer | 否 | 缩容观察期,单位秒 |
主机路径挂载配置
被如下接口引用:CreateTrainingTask。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Path | String | 否 | 需要挂载的主机路径 |
镜像描述信息
被如下接口引用:CreateTrainingTask, DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| ImageType | String | 是 | 镜像类型:TCR为腾讯云TCR镜像; CCR为腾讯云TCR个人版镜像,PreSet为平台预置镜像,CUSTOM为第三方自定义镜像 |
| ImageUrl | String | 是 | 镜像地址 |
| RegistryRegion | String | 否 | TCR镜像对应的地域 |
| RegistryId | String | 否 | TCR镜像对应的实例id |
| AllowSaveAllContent | Boolean | 否 | 是否允许导出全部内容 |
| ImageName | String | 否 | 镜像名称 |
| SupportDataPipeline | Boolean | 否 | 是否支持数据构建 |
| ImageSecret | ImageSecret | 否 | 镜像仓库用户名密码信息(仅当ImageType为CUSTOM第三方镜像的时候需要) |
自定义镜像仓库凭据
被如下接口引用:CreateTrainingTask。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| KeyId | String | 否 | 用于加密密码的KMS公钥ID |
| Username | String | 否 | 用户名 |
| Password | String | 否 | 密码,base64编码; 当keyId不为空时,密码是加密后的 |
| SecretId | String | 否 | 用户凭据ID |
推理代码的信息
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| CosPathInfo | CosPathInfo | 是 | 推理代码所在的cos详情 |
本地磁盘信息
被如下接口引用:CreateTrainingTask。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| InstanceId | String | 是 | 节点ID |
| LocalPath | String | 否 | 本地路径 |
日志配置
被如下接口引用:CreateTrainingTask, DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| LogsetId | String | 是 | 日志需要投递到cls的日志集 |
| TopicId | String | 是 | 日志需要投递到cls的主题 |
模型描述信息
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| ModelVersionId | String | 是 | 模型版本id, DescribeTrainingModelVersion查询模型接口时的id |
| ModelId | String | 否 | 模型id |
| ModelName | String | 否 | 模型名 |
| ModelVersion | String | 否 | 模型版本 |
| ModelSource | String | 否 | 模型来源 |
| CosPathInfo | CosPathInfo | 否 | cos路径信息 |
| GooseFSx | GooseFSx | 否 | GooseFSx的配置,ModelSource为GooseFSx时有效 |
| AlgorithmFramework | String | 否 | 模型对应的算法框架,预留 |
| ModelType | String | 否 | 默认为 NORMAL, 已加速模型: ACCELERATE, 自动学习模型 AUTO_ML |
| ModelFormat | String | 否 | 模型格式 |
| IsPrivateModel | Boolean | 否 | 是否为私有化大模型 |
| ModelCategory | String | 否 | 模型的类别 多模态MultiModal, 文本大模型 LLM |
| PublicDataSource | PublicDataSourceFS | 否 | 数据源的配置 |
用于表示百分比或数量
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Type | String | 否 | Num,Percent ,分别表示数量和百分比,默认为 Num |
| Value | Integer | 否 | 数值 |
键值对
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Name | String | 是 | 指标名 |
| Value | Integer | 是 | 指标值 |
Pod信息展示
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Name | String | 否 | pod名 |
| Uid | String | 否 | pod的唯一id |
| ChargeType | String | 否 | 服务付费模式 |
| Phase | String | 否 | pod的状态 |
| IP | String | 否 | pod的IP |
| CreateTime | String | 否 | pod的创建时间 |
| ContainerInfos | Array of Container | 否 | 容器列表 |
| CrossTenantENIInfo | CrossTenantENIInfo | 否 | 容器调用信息 |
| Status | String | 否 | 实例的状态信息 |
| StartScheduleTime | String | 否 | 实例的开始调度时间 |
| Message | String | 否 | 实例状态的补充信息 |
| NodeIP | String | 否 | 当前实例所在的节点 IP |
| NodeId | String | 否 | 当前实例所在节点id |
| ResourceGroupId | String | 否 | 当时实例所属资源组 id |
| ResourceGroupName | String | 否 | 资源组名称 |
| ResourceInfo | ResourceInfo | 否 | 实例的资源占用信息 |
SSH pod访问信息
被如下接口引用:CreateTrainingTask。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Host | String | 否 | pod访问ip |
| Port | Integer | 否 | pod ssh访问端口 |
| LoginCommand | String | 否 | ssh访问命令 |
探针结构信息
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| ProbeAction | ProbeAction | 否 | 探针行为 |
| InitialDelaySeconds | Integer | 否 | 等待服务启动的延迟 |
| PeriodSeconds | Integer | 否 | 轮询检查时间间隔 |
| TimeoutSeconds | Integer | 否 | 检查超时时长 |
| FailureThreshold | Integer | 否 | 检测失败认定次数 |
| SuccessThreshold | Integer | 否 | 检测成功认定次数,就绪默认 3,存活/启动默认 1 |
探针行为
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| HTTPGet | HTTPGetAction | 否 | http get 行为 |
| Exec | ExecAction | 否 | 执行命令检查 行为 |
| TCPSocket | TCPSocketAction | 否 | tcp socket 检查行为 |
| ActionType | String | 否 | 探针类型,默认 HTTPGet,可选值:HTTPGet、Exec、TCPSocket |
公有云数据源结构
被如下接口引用:CreateTrainingTask, DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| DataSourceId | String | 否 | 数据源id |
| SubPath | String | 否 | 相对数据源子路径 |
RDMA配置
被如下接口引用:CreateTrainingTask。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Enable | Boolean | 否 | 是否开启RDMA |
资源配置
被如下接口引用:CreateTrainingTask。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Role | String | 是 | 角色,eg:PS、WORKER、DRIVER、EXECUTOR |
| Cpu | Integer | 否 | cpu核数,使用资源组时需配置。单位:1/1000,即1000=1核 |
| Memory | Integer | 否 | 内存,使用资源组时需配置。单位为MB |
| GpuType | String | 否 | gpu卡类型,使用资源组时需配置 |
| Gpu | Integer | 否 | gpu卡数,使用资源组时需配置。单位:1/100,即100=1卡 |
| InstanceType | String | 否 | 算力规格ID 计算规格 (for后付费),可选值如下: TI.S.LARGE.POST: 4C8G TI.S.2XLARGE16.POST: 8C16G TI.S.2XLARGE32.POST: 8C32G TI.S.4XLARGE32.POST: 16C32G TI.S.4XLARGE64.POST: 16C64G TI.S.6XLARGE48.POST: 24C48G TI.S.6XLARGE96.POST: 24C96G TI.S.8XLARGE64.POST: 32C64G TI.S.8XLARGE128.POST : 32C128G TI.GN10.2XLARGE40.POST: 8C40G V1001 TI.GN10.5XLARGE80.POST: 18C80G V1002 TI.GN10.10XLARGE160.POST : 32C160G V1004 TI.GN10.20XLARGE320.POST : 72C320G V1008 TI.GN7.8XLARGE128.POST: 32C128G T41 TI.GN7.10XLARGE160.POST: 40C160G T42 TI.GN7.20XLARGE320.POST: 80C32 |
| InstanceNum | Integer | 否 | 计算节点数 |
| InstanceTypeAlias | String | 否 | 算力规格名称 计算规格 (for后付费),可选值如下: 4C8G 8C16G 8C32G 16C32G 6C64G 24C48G 24C96G 32C64G 32C128G 8C40G V1001 8C80G V1002 32C160G V1004 72C320G V1008 32C128G T41 40C160G T42 80C32 |
| RDMAConfig | RDMAConfig | 否 | RDMA配置 |
在线服务中服务的资源组简略信息结构
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 描述 |
|---|---|---|
| ResourceGroupId | String | 资源组 id |
| ResourceGroupName | String | 资源组名称 |
描述资源信息
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Cpu | Integer | 是 | 处理器资源, 单位为1/1000核 |
| Memory | Integer | 是 | 内存资源, 单位为1M |
| Gpu | Integer | 否 | Gpu卡个数资源, 单位为0.01单位的GpuType. Gpu=100表示使用了“一张”gpu卡, 但此处的“一张”卡有可能是虚拟化后的1/4卡, 也有可能是整张卡. 取决于实例的机型 例1 实例的机型带有1张虚拟gpu卡, 每张虚拟gpu卡对应1/4张实际T4卡, 则此时 GpuType=T4, Gpu=100, RealGpu=25. 例2 实例的机型带有4张gpu整卡, 每张卡对应1张实际T4卡, 则 此时 GpuType=T4, Gpu=400, RealGpu=400. |
| GpuType | String | 否 | Gpu卡型号 T4或者V100。仅展示当前 GPU 卡型号,若存在多类型同时使用,则参考 RealGpuDetailSet 的值。 |
| RealGpu | Integer | 否 | 创建或更新时无需填写,仅展示需要关注 后付费非整卡实例对应的实际的Gpu卡资源, 表示gpu资源对应实际的gpu卡个数. RealGpu=100表示实际使用了一张gpu卡, 对应实际的实例机型, 有可能代表带有1/4卡的实例4个, 或者带有1/2卡的实例2个, 或者带有1卡的实力1个. |
| RealGpuDetailSet | Array of GpuDetail | 否 | 创建或更新时无需填写,仅展示需要关注。详细的GPU使用信息。 |
| EnableRDMA | Boolean | 否 | 是否开启rdma |
| RootDisk | Integer | 否 | root disk size(GB) |
| DataDisk | Integer | 否 | data disk size(GB) |
资源供应属性
被如下接口引用:CreateTrainingTask, DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| SupplyType | String | 否 | 资源供应类型。TIDE:潮汐;SPOT:竞价;空:常规按量后付费 |
| ClusterType | String | 否 | 集群类型 枚举值:
默认值:DEFAULT |
滚动更新策略
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| MaxUnavailable | NumOrPercent | 否 | 滚动更新的最大不可用 |
| MaxSurge | NumOrPercent | 否 | 滚动更新的最大新增实例 |
notebook ssh端口配置
被如下接口引用:CreateTrainingTask。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Enable | Boolean | 否 | 是否开启ssh |
| PublicKey | String | 否 | 公钥信息 |
| Port | Integer | 否 | 端口号 |
| LoginCommand | String | 否 | 登录命令 |
| IsAddressChanged | Boolean | 否 | 登录地址是否改变 |
| PodSSHInfo | PodSSHInfo | 否 | POD访问信息 |
定时的事务和行为
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| ScheduleStop | Boolean | 否 | 是否要定时停止服务,true or false。true 则 ScheduleStopTime 必填, false 则 ScheduleStopTime 不生效 |
| ScheduleStopTime | String | 否 | 要执行定时停止的时间,格式:“2022-01-26T19:46:22+08:00” |
服务的调度策略配置
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 描述 |
|---|---|---|
| CrossResourceGroupScheduling | Boolean | 是否启用了跨资源组调度开关 |
描述在线服务
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 描述 |
|---|---|---|
| ServiceGroupId | String | 服务组id |
| ServiceId | String | 服务id |
| ServiceGroupName | String | 服务组名 |
| ServiceDescription | String | 服务描述 |
| ServiceInfo | ServiceInfo | 服务的详细信息 |
| ClusterId | String | 集群id |
| Region | String | 地域 |
| Namespace | String | 命名空间 |
| ChargeType | String | 付费类型 |
| ResourceGroupId | String | 包年包月服务的资源组id,按量计费的服务为空 |
| ResourceGroupName | String | 包年包月服务对应的资源组名字 |
| Tags | Array of Tag | 服务的标签 |
| IngressName | String | 服务所在的 ingress 的 name |
| CreatedBy | String | 创建者 |
| CreateTime | String | 创建时间 |
| UpdateTime | String | 更新时间 |
| Uin | String | 主账号 |
| SubUin | String | 子账号 |
| AppId | Integer | app_id |
| BusinessStatus | String | 服务的业务状态 |
| CreateFailedReason | String | 服务创建失败的原因,创建成功后该字段为默认值 CREATE_SUCCEED |
| Status | String | 服务状态 |
| BillingInfo | String | 费用信息 |
| Weight | Integer | 模型权重 |
| CreateSource | String | 服务的创建来源 |
| Version | String | 版本号 |
| LatestVersion | String | 服务组下服务的最高版本号 |
| ResourceGroupSWType | String | 资源组类别 托管 NORMAL,纳管 SW |
| ArchiveStatus | String | 服务的归档状态 Waiting 等待归档中,Archived 已归档 |
| DeployType | String | 服务的部署类型 [STANDARD 标准部署,DIST 分布式多机部署] 默认STANDARD |
| InstancePerReplicas | String | 单副本下的实例数,仅在部署类型为DIST时生效,默认1 |
| MonitorSource | String | 用于监控查询的Source |
| SubUinName | String | 服务创建者的子账号名称 |
| SchedulingPolicy | SchedulingPolicy | 服务的调度策略 |
| ExternalResourceGroups | Array of ResourceGroupInfo | 外部的资源组信息,表示借调了哪些资源组的资源 |
| ProjectId | String | 服务所属的项目 id,0表示默认空间 |
| Changer | String | 变更服务的子账户 |
| ChangerName | String | 变更服务的子账户名称 |
| ResourceSupplyAttribute | ResourceSupplyAttribute | 资源供应属性(潮汐/竞价等供应模式);空表示常规按量后付费 |
服务共享弹性网卡设置
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| EnableEIP | Boolean | 否 | 是否开启TIONE内网到外部的访问 |
| VpcId | String | 否 | 用户VpcId |
| SubnetId | String | 否 | 用户subnetId |
在线服务一个服务组的信息
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 描述 |
|---|---|---|
| ServiceGroupId | String | 服务组id |
| ServiceGroupName | String | 服务组名 |
| CreatedBy | String | 创建者 |
| CreateTime | String | 创建时间 |
| UpdateTime | String | 更新时间 |
| Uin | String | 主账号 |
| ServiceCount | Integer | 服务组下服务总数 |
| RunningServiceCount | Integer | 服务组下在运行的服务数量 |
| Services | Array of Service | 服务描述 |
| Status | String | 服务组状态,与服务一致 |
| Tags | Array of Tag | 服务组标签 |
| LatestVersion | String | 服务组下最高版本 |
| BusinessStatus | String | 服务的业务状态 |
| BillingInfo | String | 服务的计费信息 |
| CreateSource | String | 服务的创建来源 |
| WeightUpdateStatus | String | 服务组的权重更新状态 |
| ReplicasCount | Integer | 服务组下运行的pod数量 |
| AvailableReplicasCount | Integer | 服务组下期望的pod数 |
| SubUin | String | 服务组的subuin |
| AppId | Integer | 服务组的app_id |
| AuthorizationEnable | Boolean | 是否开启鉴权 |
| AuthTokens | Array of AuthToken | 限流鉴权 token 列表 |
| MonitorSource | String | 用于监控的创建来源字段 |
| SubUinName | String | 子用户的 nickname |
| GatewayLogConfig | LogConfig | 网关日志投递相关配置 |
| GatewayConfig | GatewayConfig | 网关路由相关配置 |
| Changer | String | 变更服务的子账户 |
| ChangerName | String | 变更服务的子账户名称 |
推理服务在集群中的信息
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Replicas | Integer | 是 | 期望运行的Pod数量,停止状态是0 |
| ImageInfo | ImageInfo | 是 | 镜像信息 |
| Env | Array of EnvVar | 是 | 环境变量 |
| Resources | ResourceInfo | 是 | 资源信息 |
| InstanceType | String | 是 | 后付费实例对应的机型规格 |
| ModelInfo | ModelInfo | 是 | 模型信息 |
| LogEnable | Boolean | 是 | 是否启用日志 |
| LogConfig | LogConfig | 是 | 日志配置 |
| AuthorizationEnable | Boolean | 是 | 是否开启鉴权 |
| HorizontalPodAutoscaler | HorizontalPodAutoscaler | 是 | hpa配置 |
| Status | WorkloadStatus | 是 | 服务的状态描述 |
| Weight | Integer | 是 | 权重 |
| ResourceTotal | ResourceInfo | 是 | 资源总量 |
| OldReplicas | Integer | 是 | 历史实例数 |
| HybridBillingPrepaidReplicas | Integer | 是 | 计费模式[HYBRID_PAID]时生效, 用于标识混合计费模式下的预付费实例数, 若不填则默认为1 |
| OldHybridBillingPrepaidReplicas | Integer | 是 | 历史 HYBRID_PAID 时的实例数,用户恢复服务 |
| ModelHotUpdateEnable | Boolean | 是 | 是否开启模型的热更新。默认不开启 |
| InstanceAlias | String | 否 | 服务的规格别名 |
| ScaleMode | String | 否 | 实例数量调节方式,默认为手动 |
| CronScaleJobs | Array of CronScaleJob | 否 | 定时伸缩任务 |
| ScaleStrategy | String | 否 | 定时伸缩策略 |
| ScheduledAction | ScheduledAction | 否 | 定时停止的配置 |
| PodInfos | Array of Pod | 否 | Pod列表信息 |
| ServiceLimit | ServiceLimit | 否 | 服务限速限流相关配置 |
| ModelTurboEnable | Boolean | 否 | 是否开启模型的加速, 仅对StableDiffusion(动态加速)格式的模型有效。 |
| VolumeMount | VolumeMount | 否 | 挂载 |
| InferCodeInfo | InferCodeInfo | 否 | 推理代码信息 |
| Command | String | 否 | 服务的启动命令 |
| ServiceEIP | ServiceEIP | 否 | 开启TIONE内网访问外部设置 |
| ServicePort | Integer | 否 | 服务端口,默认为8501 |
| TerminationGracePeriodSeconds | Integer | 否 | 服务的优雅退出时限。单位为秒,默认值为30,最小为1 |
| PreStopCommand | Array of String | 否 | 服务实例停止前执行的命令,执行完毕或执行时间超过优雅退出时限后实例结束 |
| GrpcEnable | Boolean | 否 | 是否启用grpc端口 |
| HealthProbe | HealthProbe | 否 | 健康探针 |
| RollingUpdate | RollingUpdate | 否 | 滚动更新配置 |
| InstancePerReplicas | Integer | 否 | 单副本下的实例数,仅在部署类型为DIST、ROLE时生效,默认1 |
| VolumeMounts | Array of VolumeMount | 否 | 批量数据盘挂载配置 |
| SchedulingStrategy | String | 否 | 调度策略 [binpack] 优先占满整机,尽量避免碎卡(默认值)[spread] 优先分散在各个节点,确保服务高可用 |
| NodeCount | Integer | 否 | 服务实际运行的节点数 |
| InferTemplateId | String | 否 | 推理模板Id 参数格式:推理模板 ID |
服务的限流限速等配置
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| EnableInstanceRpsLimit | Boolean | 否 | 是否开启实例层面限流限速,true or false。true 则 InstanceRpsLimit 必填, false 则 InstanceRpsLimit 不生效 |
| InstanceRpsLimit | Integer | 否 | 每个服务实例的 request per second 限速, 0 为不限流 |
| EnableInstanceReqLimit | Boolean | 否 | 是否开启单实例最大并发数限制,true or false。true 则 InstanceReqLimit 必填, false 则 InstanceReqLimit 不生效 |
| InstanceReqLimit | Integer | 否 | 每个服务实例的最大并发 |
启动命令信息
被如下接口引用:CreateTrainingTask。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| StartCmd | String | 否 | 启动命令 |
| PsStartCmd | String | 否 | ps启动命令 |
| WorkerStartCmd | String | 否 | worker启动命令 |
实例状况
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Message | String | 是 | 信息 |
| Reason | String | 是 | 原因 |
| Status | String | 是 | Status of the condition, one of True, False, Unknown. |
| Type | String | 是 | 类型 |
| LastTransitionTime | String | 是 | 上次更新的时间 |
| LastUpdateTime | String | 否 | 上次更新的时间 |
tcp socket 健康探针检查行为
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Port | Integer | 否 | 调用端口 |
描述腾讯云标签
被如下接口引用:CreateTrainingTask, DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| TagKey | String | 是 | 标签键 |
| TagValue | String | 是 | 标签值 |
Tag过滤参数
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| TagKey | String | 否 | 标签键 |
| TagValues | Array of String | 否 | 多个标签值 |
训练诊断工具配置
被如下接口引用:CreateTrainingTask。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| EnableHangMonitor | Boolean | 否 | 是否开启 Hang 检测 默认值:false |
| HangMonitorNodes | Array of String | 否 | Hang 检测的节点列表 |
| LogHangTimeoutInMinute | Integer | 否 | Hang 超时时间 取值范围:[1, 14400] 单位:分 |
外部挂载信息
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| CFSConfig | CFSConfig | 否 | cfs的配置信息 |
| VolumeSourceType | String | 否 | 挂载源类型,CFS、COS、PUBLIC_DATA_SOURCE,默认为CFS |
| MountPath | String | 否 | 自定义容器内挂载路径 |
| PublicDataSource | PublicDataSourceFS | 否 | 挂载数据源时的配置信息 |
工作负载的状态
被如下接口引用:DescribeModelServiceGroups。
| 名称 | 类型 | 必选 | 描述 |
|---|---|---|---|
| Replicas | Integer | 是 | 当前实例数 |
| UpdatedReplicas | Integer | 是 | 更新的实例数 |
| ReadyReplicas | Integer | 是 | 就绪的实例数 |
| AvailableReplicas | Integer | 是 | 可用的实例数 |
| UnavailableReplicas | Integer | 是 | 不可用的实例数 |
| Status | String | 是 | Normal 正常运行中 Abnormal 服务异常,例如容器启动失败等 Waiting 服务等待中,例如容器下载镜像过程等 Stopped 已停止 Pending 启动中 Stopping 停止中 |
| Conditions | Array of StatefulSetCondition | 否 | 工作负载历史的状况信息 |
| Reason | String | 否 | 状态异常时,展示原因 |
文档反馈