ReOrc docs
Get ReOrc
简体中文
简体中文
  • 欢迎使用 Reorc
  • 设置与部署
    • 设置组织
    • 安装 Reorc-agent
  • 快速开始
    • 1. 添加连接源
    • 2. 创建项目
    • 3. 创建数据模型
    • 4. 验证数据处理流程
    • 5. 创建数据管道和调度任务
  • 连接
    • 目标数据库
    • 项目连接管理
  • 数据建模
    • 概述
    • 数据源
    • 模型
      • 宏
      • 物化
      • 模型配置
    • 字段列表
    • 数据血缘
    • 数据库特定配置
      • SelectDB(Doris)
  • 语义层建模
    • 概述
    • 语义层模型 (Cube)
      • 自定义维度
      • 自定义指标
        • 聚合计算函数
    • 语义层视图 (View)
    • 模型关系 (Relationship)
    • BI 接入方式
  • 数据摄入
    • 概述
    • 连接源类型
      • 从数据库获取数据
      • MySQL
      • SelectDB(Doris)
    • 数据转换(Transform)
  • 数据管道
    • 概述
    • 建模管道
    • 任务调度
  • 进阶用法
    • Jinja 模板
    • 变量
      • 系统内置变量
      • 项目内自定义变量
  • 健康监测
    • 数据管道健康
  • 资产管理
    • 元数据
    • 版本历史
    • dbt 包和项目依赖
  • 数据服务
    • 概述
    • 创建和编辑
    • 数据预览和下载
    • 权限管理
    • 开放 API
  • 数据安全
    • 数据脱敏
  • 设置
    • 组织设置
    • 项目设置
    • 个人设置
    • 角色和权限设置
Powered by GitBook
On this page
  • 从 MySQL 获取数据(Dump)
  • 将数据加载到 MySQL(Load)
  1. 数据摄入
  2. 连接源类型

MySQL

  • 数据获取(Dump):✅ 已支持

  • 数据加载(Load): ✅ 已支持

从 MySQL 获取数据(Dump)

  1. 创建一个高级管道(Advanced pipeline)

  2. 点击“添加节点”,选择“Transfer Operator”

  3. 在右侧表单中,Dump 部分 “Task Type” 选择 “DBAPIDumpTask”

  4. 从已添加的项目连接源中选择 MySQL 数据源

更多配置项详见 从数据库获取数据

将数据加载到 MySQL(Load)

在“Transfer Operator”的表单中,Load 部分 “Task Type” 选择 “MySQLLoadTask”

配置项填写说明如下:

MySQL 连接

  • 从项目已添加的连接源中选择目标数据库

目标表

  • 目标表名称

建表 SQL

  • 当目标表不存在时,用于创建目标表的 SQL 语句。

加载模式

  • OVERWRITE:

    • 覆盖模式,新的数据会将目标表的数据覆盖掉

  • MERGE:

    • 合并模式,会根据主键字段将新数据与目标表数据进行合并

    • 主键:当选择 MERGE 模式时,需填写主键字段,用于数据去重。可填写一个或多个字段名,通常是主键或唯一键

  • APPEND:

    • 追加模式,新数据会完整的插入到目标表中

使用 INSERT 语句

  • 是否使用 INSERT 语句插入新数据。

  • 默认使用数据库的 LOAD DATA LOCAL INFILE 命令 导入数据。

  • 若选择开启,则使用标准的 INSERT 语句写入数据。

默认的方式效率更高,一般非必要情况下都是使用默认方式

INSERT 批次大小与并发数

  • 如果选择开启 “使用 INSERT 语句”,则需设定:

    • 批次大小:批次大小,即每次插入的数据条数,建议不要超过 10 万

    • 并发插入:并发插入的并行线程数,建议不要超过 10

Previous从数据库获取数据NextSelectDB(Doris)

Last updated 4 months ago