周期实例

任务的每次运行，成为一个实例，任务的周期性运行产生的实例，记为周期实例。周期实例的查看入口在「运维中心→离线任务→周期实例」，周期实例是日常运维的主要操作入口，常见的操作包括排查报错任务、查看依赖视图、重跑、杀任务等操作

实例列表

实例列表包括任务名称、状态、任务类型、开始/结束时间等信息，主要功能模块包含：

  • 实例数量统计：统计当前列表中的实例数量，当执行搜索、筛选等操作后，仅统计上述操作结束后，结果列表中的实例数量。当包含工作流时，仅统计工作流内部节点数量，不将工作流本身计入统计

  • 列表操作：

    • 任务名称搜索：与任务管理类似

    • 基本过滤：包含任务责任人、业务日期、计划时间等，其中计划时间支持时分秒粒度的过滤

    • 表头过滤：支持按照任务类型、调度周期等条件过滤

    • 表头排序：支持按照业务日期、计划时间、开始时间等条件排序

    • 刷新：点击列表右上角的「刷新」icon，可刷新列表内容

  • 依赖视图浏览：点击任务名称，右侧展开任务间的依赖视图

  • 工作流的处理：

    • 工作流本身占一行，点击「展开」后，列出内部节点

    • 工作流本身不纳入实例数量统计

    • 工作流本身在依赖视图中表示为1个节点，点击「展开」icon后，将在弹窗中展开工作流内部节点实例，如下图所示：

实例列表与任务列表的主要区别在2点：

  • 实例是含状态的，例如成功、失败、任务运行日志等信息

  • 任务每次运行将产生一个实例，除天任务之外，其他任务可能多天产生一个实例，或者一天产生多个实例

依赖视图

若需要查看某个实例的详细信息，在实例列表中点击任务名，右侧将会弹出依赖视图面板

实例依赖视图

  • 绘图区域：面板支持拖动、大小缩放等基本操作与任务管理→依赖视图类似

  • 右键菜单：在依赖视图中，在某个任务上点击鼠标右键，弹出右键菜单，支持多种操作：

    • 基本操作

      • 展开上/下游（6层）：以当前节点为基准，展开当前节点的上下游6层任务，与当前节点平行的任务将不会展现

      • 查看任务日志：打开日志查看弹窗，包含提交日志、运行日志、任务代码等

      • 查看任务属性：打开任务属性弹窗，包含任务名称、状态等信息

      • 转到前一/下一周期实例：以当前实例原点，列出当前实例的前6个、后6个实例的计划时间及状态。当任务由于前序实例失败，造成当前实例进入上游失败状态时，便于快速跳转到引发失败的初始实例。典型场景是：分钟任务、小时任务，或自依赖模式的天任务，例如：5分钟周期的分钟任务，下午14:00有实例失败，可通过此功能快速定位

      • 修改任务：进入数据开发模块，并打开此任务进入编辑状态

    • 状态操作：以下的操作将会触发依赖视图整体刷新，之前设置的缩放状态、实例信息将会被重置

      • 终止：手动杀任务

      • 刷新任务实例：刷新所有实例的状态信息

      • 置成功并恢复调度：强制将此设置为成功执行（状态为：手动设置成功），并恢复任务调度

      • 重跑下游并恢复调度：弹窗中逐层列出当前及下游任务，可勾选重跑范围。勾选「全部」表示重跑当前及其全部下游任务，无论当前任务有没有在弹窗中列出，均会全部重跑

重跑下游并恢复调度

上文列出的状态操作，不同的实例状态可进行不同的操作（Y表示支持，空表示不支持）：

任务状态 刷新任务实例 终止 重跑当前及下游任务 置成功并恢复调度 重跑并恢复调度

等待提交

Y

Y

提交中

Y

Y

等待运行

Y

Y

运行中

Y

Y

成功

Y

Y

Y

取消

Y

Y

Y

Y

提交失败

Y

Y

Y

Y

运行失败

Y

Y

Y

Y

上游失败

Y

Y

Y

Y

冻结

Y

已删除

Y

  • 工作流的处理

与任务管理的依赖视图类似，周期实例中工作流的依赖视图也是分为2层展现，点击工作流的「展开」icon，在弹出窗中展现工作流的内部节点。内部节点的操作方式与外部基本相同

批量操作

在周期实例列表的左下角，支持批量进行杀任务、批量重跑任务

  • 批量杀任务

    • 多选杀任务：在列表中多选实例，点击「批量杀任务」，系统会将符合状态条件的任务批量执行杀死，本操作不支持跨分页操作

    • 按业务日期杀：可选择指定的业务日期、实例调度周期执行批量杀死，可批量将业务日期为2020-05-06的所有分钟任务全部杀死

按业务日期杀

  • 重跑当前任务

    • 多选重跑：在列表中多选实例，点击「重跑当前任务」，系统会将符合状态条件的任务批量执行杀死，本操作不支持跨分页操作

    • 重跑当前及全部下游任务：在列表中多选实例，点击「重跑当前及全部下游任务」，会在选中实例及其下游全部实例中，对符合状态条件的实例执行重跑

日志打印

内容组成

日志分为如下几部分：提交日志、运行日志、任务代码

  • 提交日志：任务提交至引擎是否成功，若成功，则可能不会打印此日志，若提交失败，可通过此日志排查提交失败原因

  • 运行日志：任务在计算引擎上执行的日志信息，是最主要的错误排查方式

  • 任务代码：SQL任务会打印提交至计算引擎的任务代码，主要是进行了系统参数替换

日志下载

基于Hadoop体系执行的任务，例如SparkSQL、HiveSQL、Shell等任务，由于YARN可能产生很大的日志文件，浏览器无法完整展示，需要用户点击「下载」按钮，将日志下载到本地查看

重试日志

当实例进行了多次重试后，每次重试会打印对应的日志内容，支持切换查看每次重试的日志信息

重试日志
← 实例的生命周期
补数据实例 →