跳到主要内容
版本:3.x

任务预检查说明

适用版本Cloud 功能TapData Cloud 为您提供了云端服务,适合需要快速部署、低前期投资场景,帮助您更好地专注于业务发展而非基础设施管理,注册账号即可领取免费的 Agent 实例,欢迎试用。企业版功能TapData Enterprise 可部署在您的本地数据中心,适合对数据敏感性或网络隔离有严格要求的场景,可服务于构建实时数仓,实现实时数据交换,数据迁移等场景。社区版功能TapData Community 是一个开源的数据集成平台,提供基础的数据同步和转换功能,可通过 Docker 一键部署,帮助您快速探索和实施数据集成项目。随着项目或企业发展,您可以平滑升级至 TapData Cloud 或 TapData Enterprise,以获得更多高级功能或服务支持。

为保障数据复制/开发任务的正常运行,当您保存或启动任务时,TapData 会基于节点配置和数据源特征进行预检查,同时通过日志打印出检查结果,帮助您避免任务执行失败的风险,更高效地管理任务。

预检查日志示例

数据复制/开发任务配置完成后,执行保存或启动任务,页面底部将展示预检查信息,相关示例如下:

任务预检查

任务设置检测

检测项目日志示例
任务同步类型检测【ERROR】【2023-01-01 00:00:00】【任务同步类型检测】【Node-Source】该节点的同步类型(全量)与所属任务同步类型(全量+增量)不匹配,任务无法正常启动,请对相关配置进行检查。
默认时区检测【WARN】【2023-01-01 00:00:00】【默认时区检测】任务来源节点(Node-Source)连接的默认时区与目标节点(Node-Target)连接的默认时区不一致,可能导致同步数据的不一致问题。
任务模型推演检测【ERROR】【2023-01-01 00:00:00】【任务模型推演检测】任务配置模型推演失败,任务无法正常启动,请对相关问题进行检查。
{
节点名称1:表名称1:字段名称1;
节点名称2:表名称2:字段名称2
}

来源节点检测

检测项目日志示例
来源连接状态检测【ERROR】【2023-01-01 00:00:00】【来源连接状态检测】【Node-Source】该节点数据连接不可用,任务无法正常启动,请对相关问题进行检查。 { 数据源登录权限检测失败:账号密码错误 }
来源模型加载检测【ERROR】【2023-01-01 00:00:00】【来源模型加载检测】【Node-Source】该节点数据模型加载失败,任务无法正常启动,请对相关问题进行检查。
{ 表名称1;
表名称2
}
来源类型映射检测【WARN】【2023-01-01 00:00:00】【来源类型映射检测】【Node-Source】【Personinfo】【id】该字段数据类型暂不支持,将在数据读取时忽略该字段。

目标节点检测

检测项目日志示例
目标连接状态检测【ERROR】【2023-01-01 00:00:00】【目标连接状态检测】【Node-Target】该节点数据连接不可用,任务无法正常启动,请对相关问题进行检查。 { 数据源登录权限检测失败:账号密码错误 }
目标模型加载加载【ERROR】【2023-01-01 00:00:00】【目标模型加载检测】【Node-Target】该节点数据模型加载失败,任务无法正常启动,请对相关问题进行检查。 { 表名称1; 表名称2 }
目标类型映射失败【WARN】【2023-01-01 00:00:00】【目标类型映射检测】【Node-Target】【Personinfo】【id】该字段数据类型暂不支持,将在数据写入时忽略该字段。
目标类型映射告警【WARN】【2023-01-01 00:00:00】【来源类型映射检测】【Node-Target】【Personinfo】【pic】该字段映射的目标数据类型为系统推测结果,该结果可能存在偏差,请检查并确认是否符合预期,并根据实际情况调整。

场景化检测

类别检测项目说明
来源节点MariaDB时区检测【WARN】【2023-01-01 00:00:00】【Mariadb时区检测】【Node-Mariadb】Mariadb连接配置中的时区设置只在全量阶段生效,增量阶段无效。
目标节点Oracle非空约束检测【WARN】【2023-01-01 00:00:00】【Oracle非空约束检测】【Node-Oracle】【Personinfo】【id】以Oracle数据源为目标进行非空字段写入时,无法对""进行处理。
目标节点CK主键类型检测【WARN】【2023-01-01 00:00:00】【CK主键类型检测】【Node-CK】【Personinfo】以ClickHouse数据源为目标,主键数据类型为浮点时,该数据表不支持对更新删除事件的处理。