ChangeLog

任务新增下线操作和状态

批量操作支持批量修改资源组

数据地图表查询列表增加表描述字段

监控告警增加任务成功告警，触发方式支持多选，支持一条告警规则中选择多个任务

支持一个schema可对接多个租户的不同项目

整库同步支持按表名对表进行搜索

临时查询select结果的下载，支持修改文件名、编码格式

工作流任务支持在数据开发页面运行

临时运行增加分段运行模式

支持SAP HANA向导和脚本模式读数据同步

任务搜索优化，可按搜索对象/搜索方式进行搜索

数据开发调度依赖优化，支持自动依赖、推荐依赖和手动依赖三种依赖配置方式

adb作为数据同步目标表，一键建表时带上表和字段的注释

安全审计粒度精细化

任务和实例详情查看基础内容完善，实例增加操作记录，任务和实例的运行日志中打印出的任务代码对参数进行值替换

批量杀任务，支持按责任人筛选

数据读写同步DMDB支持Oracle模式

脱敏规则增加支持转义和算法加密的脱敏方式，新增支持hivesql

函数管理中新增 AnalyticDB PostgreSQL 函数管理

新增项目周期实例运行情况日报

数据同步支持Doris向导和脚本模式数据源写入

新增资源组的概念，任务可指定资源组运行

新增批量操作功能

删除项目弹窗，展示项目名称，便于用户二次确认

脱敏管理支持配置脱敏规则可见用户

数据地图去除TiDB表权限申请

数据地图查看支持impala处理的hive表

上有失败后下游状态从原先“上游失败”调整为“等待提交“

支持inceptor（TDH6.0.x）读同步；

FTP数据源读取支持Excel格式（Office版本：2003和2019），支持读取zip文件，支持断点续传；

有增量标识的同步任务放开目标表的限制为所有类型的表；

为任务配置上游依赖时可选关闭调度周期的本项目下的任务；

工作流中子节点的调度周期等属性与父节点一致，不支持单独修改；

支持按项目为选择单位对任务进行补数据，补数据实例可控制并发度；

运维中心任务属性列表中增加实例id的显示，方便异常任务排查；

数据同步读ES支持解析nested和object数据类型，插件配置新增settings（可创建索引）和cleanup（索引同步前删除）；

使用Hive Server作为hadoop引擎下的元数据获取方式时，建的表在数据地图中会显示字段类型后面的长度；

项目切换下拉菜单优化：区分菜单中的项目和项目类目；

Spark SQL和Hive SQL任务的表权限校验问题修复：校验范围修改为任务内包含的所有表及视图；

项目创建超时时将强制置失败；

支持创建Hive SQL UDF；

支持SQL Server和MySQL任务；

项目在对接计算引擎后支持配置项目内允许创建的任务类型；

Oracle→Hive的数据同步支持解析Clob和Blob字段；

任务发布包中支持对SQL和脚本类代码的内容稽核；

项目选择计算引擎时默认创建/对接的Spark Thrift/Hive/AnalyticDB PostgreSQL数据源的元数据同步权限已对数据开发角色开放；

FTP数据源读同步时对Null值支持用一个默认值替换；

运行在YARN上的任务，日志中增加YARN ApplicationID的打印；

ES7数据同步支持SSL认证；

Spark SQL/Hive SQL临时运行调整：多段SQL将放在同一个session里执行；

离线任务和标签任务依赖打通；

Solr数据源支持脚本模式的读写同步；

本地上传文件导入数据的文件大小限制支持通过配置文件修改；

Spark SQL和Hive SQL任务组件：支持创建组件，并使用组件来创建任务，当组件逻辑变更时，使用該组件的任务逻辑同步变更；

OpenTSDB 2.x数据源读同步；

支持跨hive Schema的表血缘解析；

创建项目状态提示优化

新建同步任务，编辑中途切换至别的任务tab，所有配置可保存；

修复flink on standalone模式的同步日志无法打印问题；

AnalyticDB PostgreSQL支持数据源引入离线项目、支持读和写同步、支持SQL任务、元数据获取、支持数据地图表维护、控制台数据库账号与数栈账号的绑定从而实现权限管理；

influxdb支持数据源引入离线项目、向导及脚本模式的数据读同步；

轻量化改造：创建项目时可不选hadoop引擎；

离线支持对接数据源中心；

shell on agent任务支持指定用户名和机器node label运行；

数据同步写ftp支持指定文件名，读ftp支持通配符；

调度周期支持通过Cron表达式定义，配置更灵活

hive元数据获取方式增加hiveserver（同时支持1，2，3三个版本）

增加shell on agent任务，将shell任务跑在Agent上，打破一个脚本类任务固定占2c的限制，更灵活地进行资源共享

增加Inceptor数据写同步与Inceptor SQL任务

增加AWS S3数据读写同步

Spark和Flink多版本支持

数据文件治理优化：对于hive小文件可同时支持周期治理与一次性治理。周期治理支持通过存储量和文件量进行表筛选，按项目批量进行数据文件合并一次性治理支持按表名和分区名进行筛选，预约时间或立即进行精准合并

Hive SQL支持版本对比

整库同步和数据同步速率控制修复

数据地图表权限申请隐藏字段选择

未配置告警通道时离线的告警配置页面报错修复

修复hivesql环境参数配置动态分区无效问题

离线任务支持绑定质量任务进行质量校验

运维中心等部分页面的ui升级

导入导出式发布的发布包内任务限制300个以内

小文件合并第一版

Spark SQL UDF重建

告警通道增加支持自定义通道的对接

Keberos认证支持Principal选择

工作流中的子节点展示父节点的调度周期

任务和实例列表页面分页控件增加页码填写框

不同集群下的项目标识可重名

同步任务打包增加更新环境参数选项

TiDB在数据地图中的元数据管理功能修复

首页和周期实例页面失败数统计错误修复

修复了发布同名任务会提示重复发布的问题

修复了任务、表等负责人被移出项目后的资源交接问题

租户管理员及以上角色可删除项目

优化数据同步表搜索方式

Oracle数据同步支持Schema选择

配置文件里的明文密码加密处理

【数据源】Kudu数据源支持Kerberos认证

【数据同步】亿级Phoenix大表同步

【数据开发】Spark、Flink和DtScript类型任务支持通过环境参数进行提交至Yarn的资源管控

【数据开发】任务编辑和运行增加快捷键支持

【数据开发】分钟/小时过期实例自动取消设计优化

修复工作流重跑范围问题

修复数据同步脚本模式的参数传入值与数据源信息更改同步问题

修复PostgreSQL字符串空串会转成null写入问题

修复数据同步速度限制不起作用问题

MongoDB嵌套字段解析

Kinbase数据同步

任务和实例列表页可设置每页展示数据条数

生成建表语句格式化

任务和脚本名称支持中文名称，字符数放宽至128字符

补数据弹窗中增加全选当前任务及下游

数据同步任务支持日志下载

数据同步的高级本配置参数中增加maxfilesize配置

SparkSQL任务提交表权限判断

整库同步表列表分页及高级配置优化

SDK更新

修复发布管理分页bug

【数据源】支持人大金仓数据同步

【数据开发】支持LDAP对接

【整库同步】整库同步优化：高级设置中规则优化、表支持分页

【数据同步】数据同步任务支持下载日志

【运维中心】任务补数据弹窗中增加当前及下游任务的批量选择

【数据开发】任务和脚本名称支持中文名称，长度放宽为128字符

【数据开发、运维中心】一键建表中的建表语句格式化

【运维中心】任务管理、周期实例和补数据实例列表支持选择每页展示的数据条数

【发布管理】导入导出式任务发布

【数据开发】Greenplum数据源支持UDF和存储过程的创建与管理

【数据开发】Spark SQL和Hive SQL任务支持表级任务提交和临时运行权限控制

【项目管理】支持通过邮件等方式每天发送项目内任务运行情况汇总报告

【数据源】兼容Hive1和HBase1

DTengine支持对接CDH的Spark2.2版本

Sonar代码检测

Schedule迁移

【离线开发】支持浏览器不同tab打开不同项目

【数据源】Greenplum数据源增加数据同步功能

【数据开发】增加Greenplum作为计算引擎

【数据开发】增加任务未提交标识

【项目管理】项目在绑定发布目标时，可绑项目放宽为非空项目

【数据开发】增加Oracle作为计算引擎

【运维中心】支持电话告警

【数据地图】表无数据新增基本信息tab

【创建项目】项目增加所属分类

【数据同步】hive源表支持分区字段作为映射字段

【数据开发】增加$[yyyyMMdd-1,-]系统参数，增加bizdate2参数格式

【运维中心】告警接收人增加搜索功能

【数据地图】默认建表格式从orc改为parquet

【运维中心】补数据弹窗中，默认勾选选中的补数据任务

【系统参数】系统参数名称修改：${bdp.system.currenttime}->${bdp.system.runtime}

【系统参数】增加其他format输出格式

【系统参数】增加currenttime作为时间基准线

弹窗输入框中检验结果图标显示优化

【创建项目】项目（仅含hadoop引擎）创建成功后进入项目报server runtime error

【数据同步】支持达梦数据库

【数据地图】数栈SparkSQL支持在页面增加字段

【数据开发】任务目录oom问题处理：单目录下最多2000个任务

【数据源】以JDBC方式连接的数据源，用户名密码改为非必填

【数据开发】工作流节点任务右侧不显示且无法删除

【数据源】ElasticSearch数据源支持用户名密码功能

【数据同步】数据同步读、写支持ElasticSearch 6.x版本

【UIC】优化了首次登录UIC后，未配置个人信息弹框时不能操作除通知弹框外其余的按钮

【控制台】调整了DTScript组件的配置方式

【控制台】优化了Kerberos，在删除flink、spark、DtScript、Spark ThriftServer中开启kerberos按钮

【数据源】oracle数据源jdbc支持高可用的方式接入

【首页】进行了首页的修改与优化

【UIC】修复了只有一个租户时/通过数栈系统登录时/通过第三方登录时跳转界面有误的bug

【UIC】修复了默认租户下移除该用户后登录界面报错的bug

【UIC】修复了用户管理界面搜索账户/姓名结果有误的bug。

【整体】新增了前端代码拆分

【首页】优化了产品的icon位置和文案。

【控制台】新增SFTP修改配置参数，SFTP组件为必选，在用户名后增加"认证方式"的表单

【数据同步】新增SFTP修改配置参数，若选择了SFTP模式，允许用户选择认证模式

【整体】新增了通过SQL导出任务列表的功能，导出的字段包括任务名、任务类型、任务调度时间、任务创建人员、任务上游依赖、任务提交状态

【富力地产】新增了高级运行模式，创建指定压缩格式的表，在hdfs上产生的临时文件支持压缩格式。

【整体】能够与Hadoop3兼容;

【UIC】优化了登录界面用户名的密码取值

【UIC】修复后的UIC能够支持事件回调，实现租户所有者改变通知。