在线服务

支持将模型部署为在线API服务，并提供在线调试API与服务监控等功能。

部署在线服务

使用前提

  • 预备所需算力：

部署服务所需的计算资源（CPU、内存、GPU）不能大于团队的可用计算资源。

  • 准备好模型：

使用模型管理中的模型，需提前在「模型管理」-「我的模型」中创建好模型。

使用自定义镜像，准备好镜像文件，并确保平台所在网络可以访问对应的镜像仓库。

操作步骤

  1. 进入模型服务页面，切换到「在线服务」列表，单击列表上方按钮「部署」进入部署服务页面。

  2. 在部署服务页面填写以下信息：

参数

参数说明

是否必填

服务名称

  • 填写服务的名称。

  • 最多支持输入128个字符。

必填

服务描述

  • 填写对服务的适当描述。

  • 最多支持输入1024个字符。

选填

模型来源为”我的模型“

从模型管理中的选择服务要使用的模型。

与“自定义镜像”二者选其一

—— 模型名称

服务使用的模型。

必填

—— 模型版本

服务使用的模型版本。

必填

—— 环境镜像

服务使用的环境镜像，注意环境与模型要匹配。

必填

模型来源为”自定义镜像“

从指定镜像地址下载服务要使用的镜像文件。

与“我的模型”二者选其一

—— 镜像地址

镜像仓库地址。

必填

—— 内部服务访问端口

内部服务访问端口。

必填

计算资源规格（单实例）

每个服务实例运行所需的计算资源（CPU、内存、GPU）。

必填

服务实例个数

  • 服务的实例数量。

  • 实例数量大于等于1。

  • 总计算资源（= 单实例计算资源规格 * 实例个数）不能大于团队当前可用的计算资源。

必填

环境变量

  • 将被注入到容器实例中的环境变量。

  • 环境变量名仅支持大小写字母、数字、下划线，且不能以数字作为开头。

  • 可配置多个环境变量。

选填

调用服务

服务部署成功后，即可通过API调用服务。

使用前提

  • 服务状态为“正常”或“告警”（”告警“表示服务当前的计算资源紧张）。

操作步骤

  1. 获取API信息：

    1. 进入模型服务页面，切换到「在线服务」列表，在列表中找到您要调用的服务，单击服务名称进入详情页。

    2. 点击”接口地址“栏中的”token“按钮，复制API及其Token。

  3. 在正式调用服务前，您可以通过「在线调试」功能对服务进行调试：

    1. 进入模型服务页面，切换到「在线服务」列表，在列表中找到您要调用的服务，单击操作栏的「在线调试」进入调试页面。

    2. 在参数表单中输入恰当的参数值，然后单击「调试」按钮即可获得调试结果。

  5. 通过API调用服务：

    1. curl命令输入样例：

  • 本例中，“1000000030” 代表发布的服务ID；

  • 参数”para_file”输入的是文件，@后面是图片的存储路径；

  • 参数“para_name”输入的是文本内容。

查看服务监控、运行日志

操作步骤

进入模型服务页面，切换到「在线服务」列表，单击操作栏「监控日志」「运行日志」「事件」按钮可进入相应页面。

监控日志页面

支持查看服务实例的CPU用量、内存用量、服务请求负载情况等信息。

运行日志页面

支持查看各个服务实例的程序运行日志。

事件页面

支持查看服务的「部署」「停止」「更新」等操作记录。

服务扩缩容

操作步骤

1. 打开扩缩容设置框：

a. 进入模型服务页面，切换到「在线服务」列表，单击操作栏「扩缩容」按钮。

a. 或进入模型服务详情页面，单击右上角的「扩缩容」按钮。

1. 配置计算资源。

a. 这里需要注意，所配置的计算资源不能大于“当前团队可用计算资源”，否则会导致扩缩容操作失败。

Last updated