运行信息(全链路监控)
Vertex拓扑
通过分析实时任务代码与结构,平台在Vertex拓扑中展示了 Operator(算子)
和 Operator Chain(算子链)
两种不同层级的拓扑图展示。
Operator 算子
实时任务的基础元素,一个算子代表实时任务一个基础的处理过程。通过对代码及业务逻辑拆分为算子,用户能够直观查看到每一步处理过程中数据延迟、并行度、数据收发条数。

Source算子的 Record Sent 代表进入到整个实时任务中的数据条数,Sink算子的 Record Received 代表最终实时任务输出的数据条数。
|
参数 | 说明 |
---|---|
Delay |
对应算子内数据延迟 |
Parallelism |
并行度,指算子链或算子的并行度。当前算子链与算子并行度保持一致。 |
Record Received |
当前算子/算子链接收到的数据条数。 |
Record Sent |
当前算子/算子链接发送的数据条数。 |
BackPressured |
Flink反压系数。 |
反压(BackPressured)
当您在任务运维的拓扑中查看到反压告警时,意味着当前任务的对应算子数据生成的速度大于下游Task消费数据的速度。在工作流中数据记录是从上游向下游流动的(例如:从 Source 到 Sink)。反压沿着相反的方向传播,沿着数据流向上游传播。
以一个简单的 Source → Sink Job 为例。如果看到 Source 发生了警告,意味着 Sink 消费数据的速率比 Source 生产数据的速率要慢。 Sink 正在向上游的 Source 算子产生反压。
默认情况下,JobManager会触发100次采样,每次间隔50毫秒来确定反压。BackPressured的百分数值表示在获得的样本中有多少表明任务正在被反压,例如:1%表示100个样本中只有1个反压了。
默认情况下,所有算子以蓝色显示,若出现数据反压情况,则对应的算子会变色:
反压程度 | 比例 | 显示颜色 |
---|---|---|
OK |
0 < 比例 < = 10% |
蓝色 |
LOW |
10% < 比例 < = 50% |
黄色 |
HIGH |
50% < 比例 < = 100% |
红色 |