运行信息(全链路监控)

登陆运行信息页面

1.登录数栈-实时计算。
2.选择目标项目,点击运维中心,进入任务运维。
3.在任务运维列表点击 任务名称,在弹出的抽屉窗口中,默认展示运行信息分页。

3 4 2021 19 12 45 PM

Vertex拓扑

通过分析实时任务代码与结构,平台在Vertex拓扑中展示了 Operator(算子)Operator Chain(算子链) 两种不同层级的拓扑图展示。

Operator 算子

实时任务的基础元素,一个算子代表实时任务一个基础的处理过程。通过对代码及业务逻辑拆分为算子,用户能够直观查看到每一步处理过程中数据延迟、并行度、数据收发条数。

3 4 2021 19 27 23 PM
Source算子的 Record Sent 代表进入到整个实时任务中的数据条数,Sink算子的 Record Received 代表最终实时任务输出的数据条数。
参数 说明

Delay

对应算子内数据延迟

Parallelism

并行度,指算子链或算子的并行度。当前算子链与算子并行度保持一致。

Record Received

当前算子/算子链接收到的数据条数。

Record Sent

当前算子/算子链接发送的数据条数。

BackPressured

Flink反压系数。

反压(BackPressured)

当您在任务运维的拓扑中查看到反压告警时,意味着当前任务的对应算子数据生成的速度大于下游Task消费数据的速度。在工作流中数据记录是从上游向下游流动的(例如:从 Source 到 Sink)。反压沿着相反的方向传播,沿着数据流向上游传播。

以一个简单的 Source → Sink Job 为例。如果看到 Source 发生了警告,意味着 Sink 消费数据的速率比 Source 生产数据的速率要慢。 Sink 正在向上游的 Source 算子产生反压。
默认情况下,JobManager会触发100次采样,每次间隔50毫秒来确定反压。BackPressured的百分数值表示在获得的样本中有多少表明任务正在被反压,例如:1%表示100个样本中只有1个反压了。
默认情况下,所有算子以蓝色显示,若出现数据反压情况,则对应的算子会变色:

反压程度 比例 显示颜色

OK

0 < 比例 < = 10%

蓝色

LOW

10% < 比例 < = 50%

黄色

HIGH

50% < 比例 < = 100%

红色

Operator Chain 算子链

平台自动合并联系度较高的算子形成算子链,通过算子链可查看链中整体的数据延迟、并行度、数据收发条数。
当算子链内部存在任一算子出现反压情况,对应算子链也会产生颜色变化。

详情列表

将算子链以列表形式进行展示,支持查看算子链整体并行度、数据收发大小、数据收发条数。

3 4 2021 19 40 25 PM