ChangeLog

【新增函数管理】系统预置读写数据函数、模型保存函数，可查看其函数说明、调用方法，方便用户Notebook建模。

【项目删除】支持项目逻辑删除

【读数据表组件】可视化实验读数据表组件支持读取Hive分区表、以及可读取除textfile格式外的orc、parquent格式表

【资源管理】支持第三方Python文件的替换与下载

【产品预置演示demo】在dt_demo租户下默认创建产品演示demo，方便用户上手使用

【Jupyter启动方式优化】Juyter后续采用agent启动，不再经过yarn，通过该优化将jupyter用户的节点与hadoop计算节点分隔开，保障jupyter的稳定性与运行速度

【Jupyter监控】支持配置Jupyter服务监控告警，当其服务异常时，可通过短信、钉钉、邮件等方式通知告警接收人

【TensorFlow2.x框架支持】深度学习框架支持TensorFlow2.x，产品上可写对应任务

【数据集支持删除】可支持不使用或临时的数据集进行手动删除

产品上涉及的SQL传输均进行压缩传输，不明文传输

模型部署失败时，其报错信息一直可在产品上查看，不再是弹框后消失。

【Notebook】支持编辑器自动保存与代码自动补全

【模型部署】支持模型ABTest和模型灰度部署

【模型监控】支持模型调用次数和调用耗时监控

【模型预测】支持一请求多样本预测

【环境隔离】支持开发与生产环境隔离，进行任务导入导出

【实验demo】新增信用卡评分、保险出险预测demo

【数据源连接】兼容Hive Server连接数据源

【UI优化】界面导航顺序调整，使用户更能理解算法建模的顺序

【任务依赖】算法任务内部依赖、算法与离线任务依赖

【代码Import】Notebook支持代码Import

【Kerberos认证】支持Pysaprk、TF1.X的Kerberos认证

【AutoML调参】新增随机搜索、贝叶斯调参方式，并补全原来的网格搜索调参模型;

【模型监控】支持模型调用监控

【模型部署】支持模型ABTEST与灰度部署

【实验市场】新增实验市场，预置一些实验模板

【自定义算子】支持自定义算子

【JUpyterLab】JupyterLab支持R、PySpark语言

【任务锁】Notebook与实验增加任务锁

【版本记录】Notebook与实验增加历史版本记录，并支持版本对比、版本回滚

【Kerberos认证】支持Hive数据源的Kerberos认证

【新增组件】新增缺失值填充、SVD分解、表关联、LFE自动特征构建、pca主成分分析、labe编码组件

【深度学习】集成TensorFlow1.X深度学习框架，支持任务开发、模型训练、TensorFlow模型部署

【任务参数】新增5个系统参数

【同步元数据】定时+手动同步对接已有Hive库元数据

【JupyterLab】支持外网云主机访问JupyterLab

【算法组件】原来上线的V1版本组件全部替换为V2版本，为后续的Pipline部署做准备

【任务告警】支持算法任务告警，可通过邮件、短信、钉钉等告警通道发送给接收人

【算法组件】新增表信息查看、列拆分、随机森林分类、特征选择、线性回归、XGB分类、随机森林回归、T检验、皮尔森系数等组件

【JupyterLab监控】支持为各项目的JupyterLab自行分配资源，查看资源占用，以及开启的项目等

【JupyterLab】支持外网云主机访问JupyterLab

【算法组件】原来上线的V1版本组件全部替换为V2版本，为后续的Pipline部署做准备

【4.0UI】产品UI调整，采用4.0风格

【整体】完成AIWorks与离线开发的拆分，后续AIWorks可独立部署

【模型训练】AIWorks自行对接分布式调度，增加运行历史页面

【模型服务】完成ModelService改造，为实验的Pipline部署做准备

【算法实验】组件查看数据支持数据下载

【JupyterLab】集成开源JupyterLab，支持Python与Pyspark的交互式代码编程

【算法组件】新增label编码、主成分分析、特征尺度变化、线性支持向量机组件

【任务开发】支持Notebook与实验克隆

【任务属性】增加了任务属性、项目配置、成员管理、角色管理页面，进行了任务属性、项目列表页展示的优化

支持Notebook与实验克隆

【任务属性】增加任务属性面板，展示任务基础信息

【算法组件】算法组件类别调整，增加组件搜索控件

【算法组件】组件临时表展示名称优化，展示临时表的名称，方便用户查找

【算法组件】新增Python组件，支持用户编写Python代码处理实验流程中的数据

【任务开发】支持批量创建Python与PySpark任务