ReOrc docs
Get ReOrc
简体中文
简体中文
  • 欢迎使用 Reorc
  • 设置与部署
    • 设置组织
    • 安装 Reorc-agent
  • 快速开始
    • 1. 添加连接源
    • 2. 创建项目
    • 3. 创建数据模型
    • 4. 验证数据处理流程
    • 5. 创建数据管道和调度任务
  • 连接
    • 目标数据库
    • 项目连接管理
  • 数据建模
    • 概述
    • 数据源
    • 模型
      • 宏
      • 物化
      • 模型配置
    • 字段列表
    • 数据血缘
    • 数据库特定配置
      • SelectDB(Doris)
  • 语义层建模
    • 概述
    • 语义层模型 (Cube)
      • 自定义维度
      • 自定义指标
        • 聚合计算函数
    • 语义层视图 (View)
    • 模型关系 (Relationship)
    • BI 接入方式
  • 数据摄入
    • 概述
    • 连接源类型
      • 从数据库获取数据
      • MySQL
      • SelectDB(Doris)
    • 数据转换(Transform)
  • 数据管道
    • 概述
    • 建模管道
    • 任务调度
  • 进阶用法
    • Jinja 模板
    • 变量
      • 系统内置变量
      • 项目内自定义变量
  • 健康监测
    • 数据管道健康
  • 资产管理
    • 元数据
    • 版本历史
    • dbt 包和项目依赖
  • 数据服务
    • 概述
    • 创建和编辑
    • 数据预览和下载
    • 权限管理
    • 开放 API
  • 数据安全
    • 数据脱敏
  • 设置
    • 组织设置
    • 项目设置
    • 个人设置
    • 角色和权限设置
Powered by GitBook
On this page
  • 创建数据源
  • 从数据源中选择
  1. 数据建模

数据源

Previous概述Next模型

Last updated 4 months ago

数据源(Sources)是指数据库中原始表的引用,您可以在模型中使用这些数据源。

在传统的 SQL 转换中,原始表通常通过表名直接引用。这会带来一些问题,例如代码可读性差、表间的依赖管理难。相比之下,数据源提供了一种更结构化和模块化的方式来引用原始表,带来以下几个优点:

  • 清晰的数据血缘:将原始表定义为数据源可以帮助您明确标识外部数据源,从而建立清晰的数据血缘关系,便于追踪数据从源头到转换模型的流动。

  • 数据测试:声明数据源后,您可以实施数据测试,验证数据质量假设,确保后续的转换操作基于可信的数据。

  • 改善沟通:在数据源的元数据中,您可以添加描述、负责人等信息,以明确您的使用场景。这有助于提高透明度,促进跨团队的有效沟通。

创建数据源

要创建数据源,请按照以下步骤操作:

  1. 在“模型/ Models”标签页中,点击 + 图标并选择“添加数据源/Add source”。

  2. 在弹出的窗口中:

    1. 选择连接类型。目前,Recurve 支持从数据仓库中引用数据源。

    2. 选择目标连接。如果您还没有设置过连接,请参考:项目连接管理。

  3. 点击“下一步/ Next ”。Recurve 将显示目标连接中所有可用的表。

  1. 选择所需的原始表或模型。

  2. 点击“添加数据源/ Add source ”。

选定的表将被添加到“数据源/ Sources ”文件夹,并按连接名称进行分组。

您可以通过在编辑器中打开数据源来查看其架构,架构包含字段名(或列名)、数据类型和注释。

从数据源中选择

通过将原始表组织为数据源,您可以使用 {{ source() }} Jinja 函数在模型中引用它们。 请查阅: Jinja 模板。

该函数需要两个参数:

  • source_name: 包含数据源的文件夹名称。

  • table_name: 表的名称。

例如,如果 raw_orders 表被添加到 jaffle_shop文件夹下,我们可以这样引用:

select 
    id as order_id,
    customer as customer_id,
    ordered_at as order_date

from {{ source("jaffle_shop", "raw_orders") }}

从连接中选择表