任务调度
Last updated
Last updated
数据管道描述了您的数据工作流,而任务(Job)描述了数据管道的执行。在任务配置中,您可以指定目标环境、运行调度和在任务失败时的通知设置。
请按照以下步骤操作:
在“数据管道/Pipelines ”标签页中,选择一个管道。
切换到“任务/Jobs ”标签页,点击 + 创建任务/+ Create a job 。
编辑任务的配置。
编辑调度任务名称,选择目标环境,并自定义模型变量。
环境:可选择 Production 或 Development 两种环境,默认为 Production 环境。在开发环境下将使用最新已发布版本进行调度运行。
此外,创建调度任务时提供了部分高级设置,可灵活控制调度依赖以及并发数限制:
依赖历史状态:
当开启“依赖历史状态”时,系统会确保每次运行时,当前任务的执行会依赖于过去任务的状态。
以一个每天 10:00 运行的调度批次为例,如果开启"依赖历史状态",则 只有当 前一天及历史批次的任务 成功执行时,当天的调度任务才会开始运行。
如下图中,由于开启了“依赖历史状态”,所以蓝色框对应的任务会因为前一天的任务失败而被阻碍。
批次的最大并发数
指定可同时运行的批次数量(默认为 4)。超过阈值时,新的调度批次将会等待。
以一个每天 10:00 运行的调度任务为例,如果希望每天的调度批次能够依次执行,例如:希望先运行完 2025-02-01 的数据调度任务再开始运行 2025-02-02 的任务,则可将并发数设为 1。
节点的最大并发数
指定可同时运行的任务节点数量(一个批次中的一个节点),默认为 16。超过阈值时,任务节点将会等待运行。
例如:若“节点的最大并发数”设置为 4,则最多会有 4 个任务节点同时运行。
提供任务的时间计划和触发类型:
标准设置:在特定时间间隔内触发运行。
高级设置:使用 crontab 格式指定计划,适用于熟悉 cron
调度器的用户。详见: Cron。
手动触发:无需设置时间表,手动触发运行。
此处您可以配置任务失败时的通知,默认情况下,通知将通过电子邮件发送。
完成上述配置后,点击弹窗内的“创建”按钮,即可完成调度任务的创建流程。
新创建的任务将显示在“任务/Jobs ”部分。