数据管道健康

数据管道健康/ Pipeline Health 提供了项目范围内所有管道的可视化视图,使您能够高效监控和管理管道和任务。

您可以查看历史数据,并按运行状态、调度状态和标签筛选数据管道。您还可以查看每个管道的详细信息,并执行关键操作,例如触发、编辑或激活/停用管道和任务。

本指南将带您逐步了解 数据管道健康 / Pipeline Health 的所有功能。

要访问仪表板,请在您的项目中点击 健康监测 / Health tracking

管道图表

数据管道类型分布图 / Pipeline distribution 表示已启用(active)任务的管道总数,按不同类别分布。管道健康趋势图 / Pipeline health trend 显示在指定时间范围内的管道任务总数及其状态。

管道和任务列表

在管道图表下方,是所有管道及其关联任务的列表。

您可以使用顶部的搜索栏从列表中快速搜索管道,排序和筛选功能可以帮助您通过标签、负责人和运行状态的组合来导航和分组管道。

每个管道项显示相关任务列表及相关信息,包括:

  • 任务名称

  • 环境:开发 或 生产环境

  • 上次运行时间

  • 调度

  • 最近运行:显示最近的 14 次运行;每个条的高度表示运行时长,颜色表示运行状态(绿色表示成功,红色表示失败)

  • 状态切换:启用或停用任务

任务详情

要查看任务的详细信息,点击任务项的名称,或点击操作按钮并选择 查看任务详情/ View job details

图表视图

默认情况下,Recurve 会在图表视图中打开最新的任务运行详情。每个节点表示一个任务,显示运行状态和上次运行时间。

图表视图提供了任务依赖关系和数据血缘的可视化表示,便于一目了然地了解工作流结构和任务依赖关系。

一个任务可以在一段时间内多次运行,要进行筛选,您可以使用 日期(Date) 和 运行ID(Run ID) 。使用搜索栏,您可以突出显示某个任务或一组任务(节点)。

任务详情

找到特定运行后,您可以点击相应的节点查看任务的详细信息。任务详情分为两个标签,显示两项关键信息:

查询详情(Query): 模型的编译查询。

运行日志(Run logs):关于物化过程和数据测试结果的详细信息。

网格视图

切换到 网格/Grid 标签以查看任务详情的网格视图。

网格视图显示任务中的所有任务,每列代表一次任务运行,列高表示运行的执行时长。每个方块代表单个任务运行,颜色表示状态。

网格视图以网格格式显示任务,提供详细的状态和时间信息。适用于追踪历史运行,查看调度任务在多次历史运行中的表现。

使用搜索栏,查找任意子节点。同时可按添加各类筛选:

  • 按运行次数筛选:选择一段运行范围(最近10次、30次、50次运行或自定义次数)。

  • 按日期筛选:显示特定日期范围内的所有运行。

  • 按状态筛选:已完成(Completed)、失败(Failed)、进行中(Running)、无状态(No status)。

与图表视图类似,您可以点击方块查看对应的任务详情。

Last updated