批量服务

当您希望在一次推理任务中处理累积的数据,并不需要立即响应服务请求时,可以使用批量服务。批量服务执行任务时会从指定位置获取数据,并将处理结果输出到指定位置,任务执行结束后服务会自动停止。

部署批量服务

使用前提

● 预备所需算力:

○ 部署服务所需的计算资源(CPU、内存、GPU)不能大于团队的可用计算资源。

● 准备好模型:

○ 使用模型管理中的模型,需提前在「模型管理」-「我的模型」中创建好模型。

○ 使用自定义镜像,准备好镜像文件,并确保平台所在网络可以访问对应的镜像仓库。

● 准备好需要处理的数据,并上传至对象存储服务。在存储服务中准备一个目录,用于存储输出的内容

操作步骤

1. 进入模型服务页面,切换到「批量服务」列表,单击列表上方按钮「部署」进入部署服务页面。

2. 在部署服务页面填写以下信息:

参数

参数说明

是否必填

服务名称

  • 填写服务的名称。

  • 最多支持输入128个字符。

必填

服务描述

  • 填写对服务的适当描述。

  • 最多支持输入1024个字符。

选填

模型来源为”我的模型“

从模型管理中的选择服务要使用的模型。

与“自定义镜像”二者选其一

—— 模型名称

服务使用的模型。

必填

—— 模型版本

服务使用的模型版本。

必填

—— 环境镜像

服务使用的环境镜像,注意环境与模型要匹配。

必填

模型来源为”自定义镜像“

从指定镜像地址下载服务要使用的镜像文件。

与“我的模型”二者选其一

—— 镜像地址

镜像仓库地址。

必填

—— 内部服务访问端口

内部服务访问端口。

必填

输入数据目录

任务输入数据所在的目录。

必填

输出数据目录

任务运行结果的保存位置。

必填

计算资源规格

  • 该服务所需的计算资源(CPU、内存、GPU)。

  • 计算资源不能大于团队当前可用的计算资源。

必填

服务实例个数

  • 服务的实例数量。

  • 实例数量大于等于1。

必填

环境变量

  • 将被注入到容器实例中的环境变量。

  • 环境变量名仅支持大小写字母、数字、下划线,且不能以数字作为开头。

  • 可配置多个环境变量。

选填

定时任务

用户可以基于任务需求,按照分钟、小时、天、周、月的维度设置任务间隔周期,发起定时运行任务。

选填

查看任务运行结果

操作步骤

进入模型服务页面,切换到「批量服务」列表,找到需要查看的服务,单击操作栏「历史任务」按钮,进入该服务的历史任务页面。

Last updated