模型管理
模型部署完成后,可在模型中心模块查看已部署的模型,包含以下信息及操作。

模型与服务的关系
-
每个已部署的模型会挂载在服务下面,一个服务下可挂载多个模型,但一个模型只能挂载在一个服务下面;
-
已部署模型有调用URL,可进行模型调用;服务也有调用URL,可调用服务下已上线的模型,一个服务下最多可上线2个模型;
-
服务下面挂载多个模型,主要用于解决模型灰度部署的问题,即一个服务下同时2个模型在线,并可分配流量,进行流量的逐步切换。
服务管理
基本信息
-
服务名称: 只支持英文、数字、下划线,不超过32个字符,该名称会用于拼接服务API的调用URL;
-
在线模型数/总模型数:服务下已上线的模型数/总模型数,可了解该服务下在线几个模型;
-
调用地址:服务API的调用URL;
-
API-TOKEN; 服务调用时的API认证TOKEN,可进行重置,重置后之前的TOKEN不可用;
-
请求协议:HTTP/HTTPS;
-
请求方式: POST;
-
返回格式: JSON;

当服务下面包含模型时,服务不允许删除。 |
调用监控
-
时间维度:最近24H、最近7天、最近30天、历史以来,默认展示最近24H;
-
在线模型数/总模型数:该服务下运行中模型数/服务下的已部署模型数;
-
调用次数:该服务的调用次数;
-
调用失败次数/失败率:该服务的调用失败次数、该服务的调用失败次数/总调用次数;
-
平均调用耗时:(总调用耗时时间/调用次数,耗时单位ms、s进行自动换算,>=1000ms是自动换算成1s);+
-
调用次数趋势:不同时间维度下,该服务下的调用次数趋势、调用失败次数趋势;
-
最近24H趋势:每隔10min统计一次;
-
最近7天、最近30天、历史以来趋势:一天统计一次,历史依赖的趋势展示最近365天数据即可;
-
流量分布:不同时间维度下,该服务下在线模型的各模型调用次数、调用占比(占比保留2位小数);

在线模型
展示该服务已上线的模型,每个服务中最多2个模型在线,用于模型的ABTest与灰度部署;
-
模型英文名称:展示模型名称、模型分配流量标识;点击模型名称,右侧面板弹出模型详情;
-
模型中文名称:展示模型的中文名称;
-
在线时长:即该模型处于在线状态的时长(计算公式:从该模型启用时计时,禁用时不再计时,再次启用时开始计时。运行失败状态都计算为在线时长。),展示按照xx天xxhxxmin展示,忽略秒;
-
累计调用次数(历史以来调用次数,模型调试不算在内);
-
调用失败率(历史以来失败次数/总调用次数,模型调试不算在内);
-
最近24H平均/最小/最大调用耗时(最近24H调用耗时总和/调用次数,模型调试不算在内);
-
更新时间、更新人:模型的部署、禁用、启用、编辑算作更新;列表将流量高的模型排在前面;
-
操作:模型调试、切换版本、禁用,删除等,详见下面描述,模型的这些操作与模型上下线无关。“模型上下线”操作,指将模型是否要挂在服务下面,以服务的API地址可对外服务。在线模型中展示已上线的模型,上线状态为“已上线”,对应操作为“下线”,下线后, 服务中无在线模型或只剩一个在线模型(100%流量)。

模型管理
模型详情
模型详情中包含模型的基础信息、模型信息、调用信息,具体如下:
-
基本信息
-
模型名称:模型部署时填写的模型名称;
-
模型ID:模型唯一标识;
-
模型描述:模型说明;
-
部署类型:采用SingleModel方式或Pipline方式部署;
-
算法名称:部署模型的算法名称;
-
模型来源:模型部署时来源于哪个Notebook或可视化实验;
-
部署人:部署模型的用户账号;
-
部署时间:部署模型的时间;
-
更新时间:模型的更新时间,包含Load新的模型文件以及选择模型新版本;
-
-
模型信息
-
调用API:调用此模型的API地址;
-
Input:模型的输入参数;
-
Output:模型的输出参数;
-
参数:模型的超参数,即模型参数配置中的参数;
-
-
调用信息
-
输入参数:模型输入参数的各字段、字段类型;
-
输出参数:模型的输出参数的各字段、字段类型;
-
请求示例:模型调用时的请求示例,调用者可参照请求示例调用;
-
返回示例:模型调用时的返回示例;
-

模型运行信息
-
当前版本:模型当前运行版本,外部调用时调用此模型文件;
-
运行状态:包含以下5种运行状态
-
运行中:表示此模型正在运行中,模型部署后即处于运行状态;
-
已禁用:表示当前模型(版本)已被禁用,处于不能调用状态;
-
加载中:当Load模型文件时,当模型文件过大时,会出现此中间状态;
-
运行失败:模型加载失败,或模型文件发生错误,会造成模型运行失败;
-
未运行:当服务挂掉,模型没有重启成功,会出现此状态。可将模型进行先禁用,再重新启用。
-
-
占用内存:模型文件占用内存大小;
模型调试
模型部署后,可先进行模型调试,确保模型可正常运行,再对外提供部署,具体操作详见 模型调试章节。