5. 创建数据管道和调度任务

在将模型创建和优化完成后,可以创建一个数据管道,并创建任务来调度工作流的执行。这确保了每次运行时转换的可复现性和可靠性。

发布模型

在从模型创建管道之前,您需要先发布模型。打开每个模型,并按照以下步骤操作:

  1. 在右上角,点击 发布/ Publish

  2. 填写版本号和描述。

    对于第一次发布,我们将保持默认设置。

  3. 点击发布/ Publish

数据模型现在已准备好,可以继续创建数据建模管道。

创建数据建模管道

请按照以下步骤操作:

  1. 切换到 数据管道/Pipelines 标签页。

  2. 点击 + 图标,选择 创建建模管道/Creating modeling pipeline

  3. 为您的数据管道提供名称。

  4. 选择该数据管道应包含的数据模型。

    此处,我们添加在前一步设置的三个模型。

  5. 点击确认/ Confirm

    新建的建模管道将被添加到 模型/ Models 文件夹下,并在 DAG 视图中展示。

  6. 点击发布/ Publish

创建调度任务

数据管道创建并发布后,您可以创建任务来调度执行时间。请按照以下步骤操作:

  1. 打开您创建的数据管道。

  2. 切换到 调度/Jobs 标签页,点击 创建调度/Create a job

  3. 填写任务配置。

填写名称、选择目标环境,并自定义关联的模型变量。

由于我们已经通过控制台执行并验证了模型,现在可以选择 生产环境 来在生产数据库上运行数据清洗流程。

  1. 点击创建/ Create。

新任务将显示在 调度/Jobs 部分,Recurve 将在预定时间执行该任务。

您可以在 数据管道健康 中查看任务的执行状态和进度。

下一步,您可以详细探索每个功能和模块:

Last updated