调度属性配置

在典型的批处理场景中，任务都是周期性的运行（例如每天运行一次），且不同的任务之间会存在上下游依赖关系，例如数据抽取任务会首先运行，之后才运行SQL处理任务。在这一过程中，周期性、任务的上下游依赖关系就是「调度」的基本概念，调度系统的职责可以归结为2方面：

用户可以在离线开发中进行调度属性的配置，主要包含调度周期配置、上下游依赖性、跨周期依赖、任务优先级配置等内容

调度系统的基本原则分为以下2类：

判断任务运行条件

每天按计划运行周期实例时，调度系统判断一个实例是否可以运行，需满足2方面条件：

若不能同时满足以上2个条件，则任务会处于等待提交状态。满足以上2个条件时，此任务在调度系统中具备了运行的条件，调度系统会将任务「提交」至计算引擎（任务进度等待运行状态），此任务还需要获得集群的计算资源，集群资源的分配由计算集群分配，用户不可干预，因此，满足时间+上下游依赖条件，并不意味着任务会立即开始运行，其可能在等待计算资源

寻找上游实例

在任务的周期性、上下游、跨周期等各种场景，尤其是不同周期的任务相互依赖，调度系统进行依赖判断的基本原则是：

对这一原则的场景化描述请参考几种典型场景

任务与实例是一对多的关系，在「数据开发」模块中配置的SQL任务、同步任务，其中包含代码、配置信息等，这是一个任务（Job），一个任务每运行一次，被称作一个实例（Instance）。任务是固定的一个配置，将一个任务运行多次，每次的结果、数据产出都不一样，在概念上进行区分是很有必要的。在本文的描述中，「任务」和「实例」可能会混用，读者需结合上下文理解其实际含义

在「数据开发」模块，任意打开一个任务，可在其右侧的「调度依赖」面板中，可配置「调度周期」为天、周、月、小时、分钟及自定义，若选中 天 ，则表示此任务每天执行一次

勾选出错重试，当本任务运行失败时，会进行自动重试，每次间隔2分钟，可配置重试1次至5次，默认重试3次。

如果需要让某个任务停止运行一段时间，可以在「任务开发」模块打开某任务，在右侧「调度依赖」面板中勾选「冻结」，表示此任务进入冻结状态

由于小时/分钟任务的调度频率很高，且偶尔会存在执行时间过长的情况，为节约计算资源，让任务尽快「追赶」上当前时间，离线开发支持对小时/分钟任务配置自动跳过的逻辑

如上文所述，在小时、分钟任务中，如果勾选了自动跳过，则离线开发可以自动跳过已经「过期」的实例，直接运行最新的一个，即可实现最新数据的产出，当然这对任务代码、自依赖模式也有要求

若某任务B必须在任务A完成后运行，则A为B的上游任务，这种依赖关系可通过如下方式配置：在「调度依赖」面板中的「任务间依赖」区域中，选择相应的租户、项目，并输入上游任务的名称，在搜索的下拉结果中选择需要依赖的上游任务。

离线开发支持跨租户、跨项目配置上下游依赖，仅需在依赖配置时选择对应的租户和项目

对于SparkSQL任务，可自动解析用户SQL代码，并自动推荐上游任务，其基本逻辑如下：

假设A任务代码：

假设B任务代码：

应该配置A为B任务的上游，则A任务已经提交的前提下，在B任务点击「自动推荐」按钮，应将在推荐列表中显示A任务

跨周期依赖比较典型的场景是：昨天的实例必须先执行成功，今天的实例才可以调度起来，跨周期依赖的选项有4种，结合实例来看，假设A任务每天01:00运行，分析3月2日、3日的实例，不同的跨周期依赖的效果如下：

跨周期依赖配置中还有另外2种配置：

这2种情况使用的情况较少，主要场景是：本周期该任务是否运行，取决于下游任务上一周期的运行情况。如果下游任务的上一周期运行成功/结束，本周期的任务才能开始运行，例如：

A任务、B任务：

在这种场景下，需要等待B任务的上个周期实例完成运行，A任务才能启动运行，应形成如下的依赖关系：

A任务的跨周期依赖应配置为：等待下游任务的上一周期结束/成功，才能继续运行