数据源管理

数据源中,用户可对当前项目的数据源进行新增、编辑、删除、查看等操作。

新增数据源

  1. 选择 实时计算 模块进入,选择目标项目,点击 数据开发 进入相应项目。

  2. 点击 数据源 进入,点击 新增数据源 按键,弹出相应窗口。(具体数据源注册内容请查阅对应注册方式)

  3. 选择数据源类型并填写相关必填选项。

  4. 点击 测试连通性 ,确认连通后,保存数据源,即完成新增数据源操作。

Kerberos认证

1.Kafka、Impala、Kudu等数据源支持开启Kerberos认证方式,用户通过开关开启 Kerberos认证
2.Kerberos认证文件仅支持Zip格式,压缩包需包含xxx.keytab、krb5.config文件。上传文件前,请在控制台开启SFTP服务。
3.以第一个集群krb5文件作为基准,其它集群krb5.conf内容在其基础上追加;若两个krb5.conf文件中存在相同的option时以第一个文件中krb5.conf为准。

测试连通性

此处的连通性检测只是表示数栈的WEB服务器与数据库是连通的,实际执行同步任务时,是数栈底层的Flink集群与被访问数据库进行数据交换,因此此处的连通性成功或失败,并不一定表示底层的连通性。

为了使数栈可以访问对应的存储单元(包括读/写),请务必保证数栈与这些存储单元之间的网络畅通,否则会导致任务失败。
若您的存储单元配置参数有变更,请及时修改数据源的配置,否则可能导致任务执行失败。

应用状态

数据源存在两种应用状态:

  • 使用中:存在依赖于当前数据源的数据开发任务(包括运行中及未运行)。

  • 未使用:不存在依赖与当前数据源的数据开发任务。

image.png

点击使用中,可查看依赖于当前数据源的开发任务,并快速跳转至相应任务进行编辑

image.png

连接状态

数据源存在两种连接状态:

  • 正常:数据源连接正常,能够进行正常的数据开发。

  • 连接失败:数据源连接失败,系统每10分钟自动进行重连。数据源连接失败会导致同步任务执行失败。

image.png
数据源失败时,相关依赖任务自动停止。重连成功后,自动恢复。