监控数据转换任务

TapData Cloud 为您提供了云端服务，适合需要快速部署、低前期投资场景，帮助您更好地专注于业务发展而非基础设施管理，注册账号即可领取免费的 Agent 实例，欢迎试用。 TapData Enterprise 可部署在您的本地数据中心，适合对数据敏感性或网络隔离有严格要求的场景，可服务于构建实时数仓，实现实时数据交换，数据迁移等场景。 TapData Community 是一个开源的数据集成平台，提供基础的数据同步和转换功能，可通过 Docker 一键部署，帮助您快速探索和实施数据集成项目。随着项目或企业发展，您可以平滑升级至 TapData Cloud 或 TapData Enterprise，以获得更多高级功能或服务支持。

数据转换任务启动后，页面将自动跳转至任务监控页面，通过该页面可观察任务运行细节，包括 Agent 状态、数据同步状态、任务进度、告警设置等信息。您也可以先在任务列表页面查看任务整体运行概况，再进入单个任务查看详情。

提示

您也可以在任务列表页面，单击对应任务的监控来进入监控页面。

任务列表指标说明

在数据转换任务列表页面，您可以通过任务状态、任务里程碑、增量延迟等指标快速判断任务是否正常运行。常见字段说明如下：

字段	说明
任务名称	任务的显示名称。名称下方会展示任务同步类型，如全量、增量或全量 + 增量。
任务状态	任务当前所处状态，例如编辑中、运行中、已停止或运行失败。
任务里程碑	展示任务当前执行阶段，帮助判断任务处于初始化、全量同步、增量同步或其他处理阶段。
增量延迟	源端事件产生到任务处理完成之间的时间差，用于判断增量同步是否存在积压。
增量时间点	任务当前处理到的增量数据事件时间点。该时间点越接近当前时间，说明增量处理越及时。
上次运行时间	任务最近一次启动运行的时间。
创建时间	任务创建时间。
更新时间	任务配置或状态最近一次更新的时间。
可用操作	支持对任务执行启动、编辑、监控、重置、复制、删除等操作，具体可用项与任务状态有关。

如果需要查看节点级指标、运行日志、告警或任务设置，可单击目标任务右侧的监控进入任务详情页。

查看单个任务详情

① 顶部控制栏

可重命名任务名称，查看任务启动时间和 Agent 状态，其中 Agent 状态包括：

• CPU 使用率：引擎进程使用的CPU占系统总CPU的占比
• 内存使用率：已使用堆的内存数/堆内存最大值
• GC 吞吐量：（引擎累计运行时间-GC的耗时）/引擎累计运行时间*100%

② 任务关键指标展示栏

展示任务的基本信息和关键监控指标，包含同步信息、任务校验信息、性能指标和任务时间统计信息，其中：

• 任务校验：仅当任务开启了校验才会展示，如发现有异常可单击查看校验详情。
• RPS：任务平均每秒处理的输入事件数和输出事件数，用于衡量数据传输速度和性能，支持基于事件数量或大小的维度来查看。
• 增量延迟：事件从源库生成到经任务处理完成写入目标的延迟时间，当有多个目标时只统计最大的增量延迟时间，单位为毫秒。
• 任务统计事件：统计任务运行后所有的累计事件，统计注意事项如下：
  • 更新：如果输出到目标的插入事件在插入目标库时发现已存在，然后写入策略又设置了当目标存在时更新，则插入事件会变为更新事件。
  • DDL
    • 由于 TapData 根据推演结果直接在目标建表，所以在源端并不会统计到 DDL 事件的输出，但在目标节点可以统计到建表的 DDL 事件。
    • 如果目标是无需建表的数据库类型（如 MongoDB），则不会统计到目标的建表事件。
    • 如果目标的重复处理策略选择了清除目标结构和数据，则会统计到 DROP TABLE 和 CREATE TABLE 两次 DDL 事件

③ 节点信息展示区

将鼠标指针悬浮至节点，可展示对应节点的关键指标信息，单击节点右下角的图标可查看更多细节。

• 全量进度：全量时展示即该节点的全量进度。
• 增量时间点：增量时展示采集增量日志的时间点。此处以（当前引擎的时间-该节点的增量时间点） 的相对时间来表达，具体的增量时间点信息，鼠标移入时会在浮窗里展示。
• 写入耗时：数据写到目标端的耗时。
• RPS：每秒处理的记录数（Record Per Second），用于衡量数据传输速度和性能。
• 累计输入事件：即从上一个节点或源库输入到该节点的事件数。
• 累计输出事件：即从该节点输出到下一个节点或目标库的事件数。
• 处理耗时：该节点处理数据的耗时。

④ 任务日志展示区

单击页面顶部的图标，可展示任务日志展示区，在该区域，您可以查看任务运行的进度、日志、运行记录、告警列表和关联任务信息。而在日志标签中，您可以根据关键词、周期、等级来过滤日志，也可以下载日志在本地分析。

此外，针对常见问题，TapData 还支持显示相关错误码。

单击该错误码，可在弹出的对话框中详细了解详细的原因及解决方案，更多信息，见任务错误码及解决方案。

⑤ 任务/告警设置区

单击页面顶部的图标，可展示任务设置（不可修改)和告警设置，您可以设置告警规则：

• 任务运行出错告警
• 任务全量完成通知
• 任务增量开始通知
• 任务停止告知
• 任务增量延迟告警