同步任务配置

数据源

表

数据过滤：针对源头数据筛选条件，根据指定的column、table、where条件拼接SQL进行数据抽取，暂时不支持limit关键字过滤。利用where条件可进行增量同步，具体说明如下：
增量导入在实际业务场景中，往往会选择当天的数据进行同步，通常需要编写where条件语句，需先确认表中描述增量字段（时间戳）为哪一个。如tableA增量的字段为 create_time ，则填写 create_time>需要的日期 ，如果需要日期动态变化，可以填写 ${bdp.system.bizdate} 、${bdp.system.cyctime}
等调度参数，关于调度参数的详细信息请参考 参数配置。

切分键：离线开发在进行数据抽取时，如果指定切分键，系统可以使用切分键的字段进行数据分片，数据同步因此会启动并发任务进行数据同步，这样可以大大提供数据同步的效能。

高级配置：特定场景下，无法满足需求时，支持以JSON的形式传入其他参数，例如fetchSize等。

数据同步目标库；

目标表；

导入前、导入后准备语句：执行数据同步任务之前率先执行的SQL语句。目前向导模式只允许执行一条SQL语句，例如：truncate table 。

主键冲突的处理：

选中的库、表，表结构需要保持一致（字段名、字段类型），系统不会进行检查，表结构的一致性由用户保证；

若MySQL采用分库模式，则不同的数据库需配置不同的数据源，需要在「数据源」模块单独配置；

若配置了并发度，则每个并发会分别读取一张表的数据；

Hive1.x与Hive2.x的配置是基本相同的，详情请参考 Hive1.x与Hive2.x的区别

Hive1.x与Hive2.x仅支持Textfile、ORC、Parquet 这3种数据格式，同步的原理请参考 FlinkX读写Hive表的原理

分区：当Hive表作为数据源时，可读取某个分区下的数据：

分区：当Hive表作为写入目标时，可将数据写入某个分区：

写入模式：

分区填写栏支持填写参数，支持的参数请参考 参数配置

非分区表，不用填写

一级分区表，不填写分区，则会读取所有分区数据；填写了分区名（例如 pt = '20200503' ），则只读取指定分区的数据；

多级分区表，可以填写多级分区形式（例如 ptd='20200503' /pdh='120000'），多级分区表，如果只填写一级分区信息（例如 ptd='20200503'），则会将下属的所有二级分区数据全部读取；
Writer

insert overwrite：写入前将清理已存在的数据文件，之后执行写入（默认值）；

insert into：写入前已有的数据不会删除，系统会写入的新的文件；

路径：待读取的HDFS文件路径，例如 /user/hive/myTable/ 如果最后以一个路径，而不是文件名结尾，则会读取这个路径下的所有文件。如果以文件名结尾（例如 /user/hive/myTable/a.csv），则只读取指定的文件。若要读取的文件路径，多个路径可以用逗号隔开。

分隔符：默认为 \001 ，支持填写可见字符，例如, ，同时支持通过 \做转义配置不可见字符，例如, 填写可见字符时，只支持1个字符。转义字符需根据8进制ASCII编码填写对应的值，例如 \044表示$

文件类型：

路径：待写入的HDFS文件路径，例如 /user/hive/myTable ，Writer会根据并发配置在目录下写入多个文件。写入HDFS时，文件名是随机生成的，暂时不支持指定文件名。

文件类型：

添加单个字段：点击后在弹窗中补充索引值和字段类型。

文本模式：添加单个字段较为繁琐，也可以采用文本模式，批量编辑字段信息，点击「文本模式」，在弹窗中批量编辑。批量编辑的语法格式为： index:type, 每行一个字段，每一行填写索引值、英文冒号、类型，且以英文逗号结尾，注意最后一行也要以英文逗号结尾

添加或删除字段后，可点击每个字段后面的「删除」icon，删除此字段。新添加的字段都会排在最后，若误删除中间的字段，可用文本模式重新添加在中间位置

拷贝源字段/目标字段：当数据源、目标为FTP、HDFS等无类型的数据源，且另一半为有类型的数据源时，可点击「拷贝源字段」或「拷贝目标字段」来快速复制有类型的一方，降低批量配置的工作量

路径：

单路径下多个文件：

路径的正则匹配：支持按照正则的方式批量匹配读取的文件：

路径中的系统变量：

多个路径

列分隔符：

编码：

是否包含表头：

路径：写入FTP的目录地址，注意必须指定到目录，以 / 结束

文件名称；

临时文件扩展名：当系统写入文件时，会写入一个临时目录，并写入临时文件，支持指定临时文件的扩展名

编码：支持UTF-8或GBK，默认为UTF-8

列分隔符：默认为英文逗号，与Reader中的列分隔符相同

写入模式：支持覆盖或追加

写入模式：

flushMode：kudu session刷新模式，

数据过滤：您将要同步数据的筛选条件，暂时不支持limit关键字过滤。SQL语法与选择的数据源一致。 where条件可以有效地进行业务增量同步。如果不填写where语句，数据同步均视作同步全量数据。

切分键：可以将源数据表中某一列作为切分键，建议使用主键或有索引的列作为切分键，仅支持类型为整型的字段。 读取数据时，根据配置的字段进行数据分片，实现并发读取，可以提升数据同步效率。

导入前准备语句：写入数据至目标表前，会先执行此处的标准语句。

导入后准备语句：写入数据至目标表后，会执行此处的标准语句。

写入模式：写入前已有的数据不会删除，系统会写入的新的文件。

startRowkey：指定开始rowkey；

endRowkey：指定结束rowkey；

isBinaryRowkey：指定配置的startRowkey和endRowkey转换为byte[]时的方式，默认值为false,若为true，则调用Bytes.toBytesBinary(rowkey方法进行转换;若为false：则调用Bytes.toBytes(rowkey

读取为null值时的处理方式：

rowkey：

支持选择部分字段进行读取/写入。

format处理：数据源为字符串类型的字段，若存储了日期数据，且映射到目标库的date或time等时间类型，支持指定format格式，例如 "yyyy-MM-dd hh:mm:ss，若不配置此转换规则，则此数据可能被认为是脏数据。format处理支持Java格式化时间的标准格式，可参考 SimpleDateFormat。

支持在数据源一侧添加常量/系统变量作为虚拟字段值，请参考虚拟字段。

作业速率上限

作业并发数

错误记录管理

脏数据数量控制

断点续传

数据源（这里特指关系数据库）中必须包含一个升序的字段，比如主键或者日期类型的字段，同步过程中会记录同步的点位，任务在中途发生异常失败，在恢复运行时使用这个字段构造查询条件过滤已经同步过的数据，如果这个字段的值不是升序的，那么任务恢复时过滤的数据就是错误的，最终导致数据的缺失或重复；

用户需保证此字段的值是数据升序的；