ReOrc docs
Get ReOrc
简体中文
简体中文
  • 欢迎使用 Reorc
  • 设置与部署
    • 设置组织
    • 安装 Reorc-agent
  • 快速开始
    • 1. 添加连接源
    • 2. 创建项目
    • 3. 创建数据模型
    • 4. 验证数据处理流程
    • 5. 创建数据管道和调度任务
  • 连接
    • 目标数据库
    • 项目连接管理
  • 数据建模
    • 概述
    • 数据源
    • 模型
      • 宏
      • 物化
      • 模型配置
    • 字段列表
    • 数据血缘
    • 数据库特定配置
      • SelectDB(Doris)
  • 语义层建模
    • 概述
    • 语义层模型 (Cube)
      • 自定义维度
      • 自定义指标
        • 聚合计算函数
    • 语义层视图 (View)
    • 模型关系 (Relationship)
    • BI 接入方式
  • 数据摄入
    • 概述
    • 连接源类型
      • 从数据库获取数据
      • MySQL
      • SelectDB(Doris)
    • 数据转换(Transform)
  • 数据管道
    • 概述
    • 建模管道
    • 任务调度
  • 进阶用法
    • Jinja 模板
    • 变量
      • 系统内置变量
      • 项目内自定义变量
  • 健康监测
    • 数据管道健康
  • 资产管理
    • 元数据
    • 版本历史
    • dbt 包和项目依赖
  • 数据服务
    • 概述
    • 创建和编辑
    • 数据预览和下载
    • 权限管理
    • 开放 API
  • 数据安全
    • 数据脱敏
  • 设置
    • 组织设置
    • 项目设置
    • 个人设置
    • 角色和权限设置
Powered by GitBook
On this page
  1. 数据管道

概述

Previous数据转换(Transform)Next建模管道

Last updated 7 months ago

Recurve 的 数据管道(Data pipeline) 模块让您能够高效编排数据工作流。您无需手动运行模型来获取结果,而是可以通过定义管道来自动化整个数据转换过程。你可以基于数据管道创建定期运行的调度任务、查看模型之间的依赖关系,并实时监控任务运行的状态。

在 Recurve 中,数据管道是另一种资产类型,可以包含多个模型。创建数据管道时,Recurve 会自动通过数据血缘推导查询模型之间的关系,并以 DAG(有向无环图)的形式进行可视化。

核心功能

数据管道 模块当前支持以下功能:

:从数据模型创建管道。

:配置数据流任务,并安排从数据管道中运行。

建模管道
任务