ElasticSearch

本节介绍如何在实时计算中配置ElasticSearch数据源。

操作步骤

1.登陆数栈DTinsight，进入 实时计算 模块。
2.进入数据源，单击 新增数据源。

image.png

3.在 新增数据源 弹窗中，选择数据类型为 ElasticSearch。
4.填写ElasticSearch数据源的各配置项。

Flower

5.点击 测试连通性。
6.测试连通性通过后，点击 确定，即可完成ElasticSearch数据源的配置。

配置 说明

数据源名称

只能由中文、字母、数字和下划线组成，长度无限制。

数据源描述

对数据源进行简单描述，长度无限制。

集群地址

ElasticSearch集群地址，格式要求如下：
示例：host1:port,host2:port

集群名称

指向具体的ElasticSearch集群名称

用户名/密码

ElasticSearch连接的帐号密码。

ElasticSearch7动态索引配置

在FLinkSQL任务开发中，使用ElasticSearch7作为结果表时需要进行如下配置：

配置 说明

索引

即ElasticSearch中的 index 参数，支持静态索引（Static Index）、动态索引（Dynamic Index）两种方式。

  • 静态索引（Static Index）: 直接输入字符串，例如输入 myusers ，则所有数据将会写入 myusers 索引下。

  • 动态索引（Dynamic Index）: 输入 {column_name} 选择映射表中的字段作为动态索引，您可以通过 {column_name |date_format_string} 方式将TIMElasticSearchTAMP/DATE/TIME类型的 column_name 字段值转换为所指定的格式，格式样式参考 DateTimeFormatter 。
    例如，输入 myusers-{log_ts|yyyy-MM-dd} ，则具有 log_ts 字段值的记录 2020-03-27 12:25:55 的结果数据将被写入 myusers-2020-03-27 索引中。

id

ElasticSearch中文档的唯一标识，您可以填入映射表中字段名称 column_name 或通过填写从1开始数字指向对应的字段名，比如字段为 pv , channel 时，填写 1 即代表填写了 pv 。当ID为空时ElasticSearch会为文档默认生成一个UUID。

当填写数字超出字段总数时，任务提交失败。

索引映射

ElasticSearch的索引映射配置，默认为空时使用ElasticSearch自带的Mapping参数进行建表。当用户需要建立动态索引，可通过 Json 形式声明：
← HBase
MongoDB →