ReOrc docs
Get ReOrc
简体中文
简体中文
  • 欢迎使用 Reorc
  • 设置与部署
    • 设置组织
    • 安装 Reorc-agent
  • 快速开始
    • 1. 添加连接源
    • 2. 创建项目
    • 3. 创建数据模型
    • 4. 验证数据处理流程
    • 5. 创建数据管道和调度任务
  • 连接
    • 目标数据库
    • 项目连接管理
  • 数据建模
    • 概述
    • 数据源
    • 模型
      • 宏
      • 物化
      • 模型配置
    • 字段列表
    • 数据血缘
    • 数据库特定配置
      • SelectDB(Doris)
  • 语义层建模
    • 概述
    • 语义层模型 (Cube)
      • 自定义维度
      • 自定义指标
        • 聚合计算函数
    • 语义层视图 (View)
    • 模型关系 (Relationship)
    • BI 接入方式
  • 数据摄入
    • 概述
    • 连接源类型
      • 从数据库获取数据
      • MySQL
      • SelectDB(Doris)
    • 数据转换(Transform)
  • 数据管道
    • 概述
    • 建模管道
    • 任务调度
  • 进阶用法
    • Jinja 模板
    • 变量
      • 系统内置变量
      • 项目内自定义变量
  • 健康监测
    • 数据管道健康
  • 资产管理
    • 元数据
    • 版本历史
    • dbt 包和项目依赖
  • 数据服务
    • 概述
    • 创建和编辑
    • 数据预览和下载
    • 权限管理
    • 开放 API
  • 数据安全
    • 数据脱敏
  • 设置
    • 组织设置
    • 项目设置
    • 个人设置
    • 角色和权限设置
Powered by GitBook
On this page
  • 发布模型
  • 创建数据建模管道
  • 创建调度任务
  1. 快速开始

5. 创建数据管道和调度任务

Previous4. 验证数据处理流程Next目标数据库

Last updated 7 months ago

在将模型创建和优化完成后,可以创建一个数据管道,并创建任务来调度工作流的执行。这确保了每次运行时转换的可复现性和可靠性。

发布模型

在从模型创建管道之前,您需要先发布模型。打开每个模型,并按照以下步骤操作:

  1. 在右上角,点击 发布/ Publish。

  2. 填写版本号和描述。

    对于第一次发布,我们将保持默认设置。

  3. 点击发布/ Publish。

数据模型现在已准备好,可以继续创建数据建模管道。

创建数据建模管道

请按照以下步骤操作:

  1. 切换到 数据管道/Pipelines 标签页。

  2. 点击 + 图标,选择 创建建模管道/Creating modeling pipeline。

  3. 为您的数据管道提供名称。

  4. 选择该数据管道应包含的数据模型。

    此处,我们添加在前一步设置的三个模型。

  5. 点击确认/ Confirm。

    新建的建模管道将被添加到 模型/ Models 文件夹下,并在 DAG 视图中展示。

  6. 点击发布/ Publish。

创建调度任务

数据管道创建并发布后,您可以创建任务来调度执行时间。请按照以下步骤操作:

  1. 打开您创建的数据管道。

  2. 切换到 调度/Jobs 标签页,点击 创建调度/Create a job。

  3. 填写任务配置。

填写名称、选择目标环境,并自定义关联的模型变量。

由于我们已经通过控制台执行并验证了模型,现在可以选择 生产环境 来在生产数据库上运行数据清洗流程。

填写任务的时间安排和触发类型:

  • 标准设置:在特定时间间隔内触发运行。

  • 手动触发:不进行调度,可以在 数据管道健康/Pipeline Health 仪表板中手动触发。请参考: 数据管道健康。

在此处,您可以配置任务失败时的通知。默认情况下,通知会通过电子邮件发送。

  1. 点击创建/ Create。

新任务将显示在 调度/Jobs 部分,Recurve 将在预定时间执行该任务。

恭喜!您已经完成了使用 Recurve 构建数据工作流的过程。

下一步,您可以详细探索每个功能和模块:

高级设置:使用 crontab 格式指定调度,适用于熟悉 cron 调度器的用户。请参考文档: 。

您可以在 中查看任务的执行状态和进度。

Cron
数据管道健康

连接 | Connections

了解可用的连接

数据建模 | Data modeling

了解数据建模中的核心内容

健康监控 | Health tracking

探索健康监控仪表板