模型管理

模型部署完成后,可在模型中心模块查看已部署的模型,包含以下信息及操作。

2020 12 09 11 03 25

模型与服务的关系

  • 每个已部署的模型会挂载在服务下面,一个服务下可挂载多个模型,但一个模型只能挂载在一个服务下面;

  • 已部署模型有调用URL,可进行模型调用;服务也有调用URL,可调用服务下已上线的模型,一个服务下最多可上线2个模型;

  • 服务下面挂载多个模型,主要用于解决模型灰度部署的问题,即一个服务下同时2个模型在线,并可分配流量,进行流量的逐步切换。

服务管理

基本信息

  • 服务名称: 只支持英文、数字、下划线,不超过32个字符,该名称会用于拼接服务API的调用URL;

  • 在线模型数/总模型数:服务下已上线的模型数/总模型数,可了解该服务下在线几个模型;

  • 调用地址:服务API的调用URL;

  • API-TOKEN; 服务调用时的API认证TOKEN,可进行重置,重置后之前的TOKEN不可用;

  • 请求协议:HTTP/HTTPS;

  • 请求方式: POST;

  • 返回格式: JSON;

2021 10 08 17 47 01
当服务下面包含模型时,服务不允许删除。

调用监控

  • 时间维度:最近24H、最近7天、最近30天、历史以来,默认展示最近24H;

  • 在线模型数/总模型数:该服务下运行中模型数/服务下的已部署模型数;

  • 调用次数:该服务的调用次数;

  • 调用失败次数/失败率:该服务的调用失败次数、该服务的调用失败次数/总调用次数;

  • 平均调用耗时:(总调用耗时时间/调用次数,耗时单位ms、s进行自动换算,>=1000ms是自动换算成1s);+

  • 调用次数趋势:不同时间维度下,该服务下的调用次数趋势、调用失败次数趋势;

  • 最近24H趋势:每隔10min统计一次;

  • 最近7天、最近30天、历史以来趋势:一天统计一次,历史依赖的趋势展示最近365天数据即可;

  • 流量分布:不同时间维度下,该服务下在线模型的各模型调用次数、调用占比(占比保留2位小数);

2021 10 08 17 47 28

在线模型

展示该服务已上线的模型,每个服务中最多2个模型在线,用于模型的ABTest与灰度部署;

  • 模型英文名称:展示模型名称、模型分配流量标识;点击模型名称,右侧面板弹出模型详情;

  • 模型中文名称:展示模型的中文名称;

  • 在线时长:即该模型处于在线状态的时长(计算公式:从该模型启用时计时,禁用时不再计时,再次启用时开始计时。运行失败状态都计算为在线时长。),展示按照xx天xxhxxmin展示,忽略秒;

  • 累计调用次数(历史以来调用次数,模型调试不算在内);

  • 调用失败率(历史以来失败次数/总调用次数,模型调试不算在内);

  • 最近24H平均/最小/最大调用耗时(最近24H调用耗时总和/调用次数,模型调试不算在内);

  • 更新时间、更新人:模型的部署、禁用、启用、编辑算作更新;列表将流量高的模型排在前面;

  • 操作:模型调试、切换版本、禁用,删除等,详见下面描述,模型的这些操作与模型上下线无关。“模型上下线”操作,指将模型是否要挂在服务下面,以服务的API地址可对外服务。在线模型中展示已上线的模型,上线状态为“已上线”,对应操作为“下线”,下线后, 服务中无在线模型或只剩一个在线模型(100%流量)。

2021 10 08 17 48 27

待上线模型

展示已部署但未上线的模型,模型的展示信息与在线模型一致,只是多了个上线操作,支持模型上线。

模型管理

模型详情

模型详情中包含模型的基础信息、模型信息、调用信息,具体如下:

  1. 基本信息

    • 模型名称:模型部署时填写的模型名称;

    • 模型ID:模型唯一标识;

    • 模型描述:模型说明;

    • 部署类型:采用SingleModel方式或Pipline方式部署;

    • 算法名称:部署模型的算法名称;

    • 模型来源:模型部署时来源于哪个Notebook或可视化实验;

    • 部署人:部署模型的用户账号;

    • 部署时间:部署模型的时间;

    • 更新时间:模型的更新时间,包含Load新的模型文件以及选择模型新版本;

  2. 模型信息

    • 调用API:调用此模型的API地址;

    • Input:模型的输入参数;

    • Output:模型的输出参数;

    • 参数:模型的超参数,即模型参数配置中的参数;

  3. 调用信息

    • 输入参数:模型输入参数的各字段、字段类型;

    • 输出参数:模型的输出参数的各字段、字段类型;

    • 请求示例:模型调用时的请求示例,调用者可参照请求示例调用;

    • 返回示例:模型调用时的返回示例;

2020 12 09 11 18 40

模型运行信息

  • 当前版本:模型当前运行版本,外部调用时调用此模型文件;

  • 运行状态:包含以下5种运行状态

    • 运行中:表示此模型正在运行中,模型部署后即处于运行状态;

    • 已禁用:表示当前模型(版本)已被禁用,处于不能调用状态;

    • 加载中:当Load模型文件时,当模型文件过大时,会出现此中间状态;

    • 运行失败:模型加载失败,或模型文件发生错误,会造成模型运行失败;

    • 未运行:当服务挂掉,模型没有重启成功,会出现此状态。可将模型进行先禁用,再重新启用。

  • 占用内存:模型文件占用内存大小;

模型调试

模型部署后,可先进行模型调试,确保模型可正常运行,再对外提供部署,具体操作详见 模型调试章节。

切换模型版本

支持模型版本切换,切换模型版本即加载新的模型文件,若模型文件过大,可能需要较长时间,请耐心等待。

模型禁用与启用

  • 模型禁用:支持模型禁用,禁用后将停止调用;

  • 模型启用:支持模型启用,可从禁用状态恢复为启用状态;

  • 模型删除:模型禁用后,方可删除。

模型监控

  • 调用统计

展示该模型最近24H、最近7天、最近30天、历史以来的调用次数、调用失败次数、调用失败率、平均调用耗时等指标,以及查看各个时间维度下的调用次数、调用失败次数、调用耗时的趋势图。

  • 模型变更记录

展示模型部署、禁用、启用的操作记录,包含操作人、操作时间、操作内容。