任务调度

数据管道描述了您的数据工作流，而任务（Job）描述了数据管道的执行。在任务配置中，您可以指定目标环境、运行调度和在任务失败时的通知设置。

请按照以下步骤操作：

1. 在“数据管道/Pipelines ”标签页中，选择一个管道。

2. 切换到“任务/Jobs ”标签页，点击 + 创建任务/+ Create a job 。

3. 编辑任务的配置。

1. 基本设置

编辑调度任务名称，选择目标环境，并自定义模型变量。

• 环境：可选择 Production 或 Development 两种环境，默认为 Production 环境。在开发环境下将使用最新已发布版本进行调度运行。

此外，创建调度任务时提供了部分高级设置，可灵活控制调度依赖以及并发数限制：

• 依赖历史状态：

  • 当开启“依赖历史状态”时，系统会确保每次运行时，当前任务的执行会依赖于过去任务的状态。

  • 以一个每天 10:00 运行的调度批次为例，如果开启"依赖历史状态"，则 只有当 前一天及历史批次的任务 成功执行时，当天的调度任务才会开始运行。

  • 如下图中，由于开启了“依赖历史状态”，所以蓝色框对应的任务会因为前一天的任务失败而被阻碍。

  
• 批次的最大并发数

  • 指定可同时运行的批次数量（默认为 4）。超过阈值时，新的调度批次将会等待。

  • 以一个每天 10:00 运行的调度任务为例，如果希望每天的调度批次能够依次执行，例如：希望先运行完 2025-02-01 的数据调度任务再开始运行 2025-02-02 的任务，则可将并发数设为 1。

  
• 节点的最大并发数

  • 指定可同时运行的任务节点数量（一个批次中的一个节点），默认为 16。超过阈值时，任务节点将会等待运行。

  • 例如：若“节点的最大并发数”设置为 4，则最多会有 4 个任务节点同时运行。

  

2. 调度周期

提供任务的时间计划和触发类型：

• 标准设置：在特定时间间隔内触发运行。

• 高级设置：使用 crontab 格式指定计划，适用于熟悉 cron 调度器的用户。详见： Cron。

• 手动触发：无需设置时间表，手动触发运行。

3. 通知设置

此处您可以配置任务失败时的通知，默认情况下，通知将通过电子邮件发送。

完成上述配置后，点击弹窗内的“创建”按钮，即可完成调度任务的创建流程。

新创建的任务将显示在“任务/Jobs ”部分。