任务预检查说明
TapData Cloud 为您提供了云端服务,适合需要快速部署、低前期投资场景,帮助您更好地专注于业务发展而非基础设施管理,注册账号即可领取免费的 Agent 实例,欢迎试用。TapData Enterprise 可部署在您的本地数据中心,适合对数据敏感性或网络隔离有严格要求的场景,可服务于构建实时数仓,实现实时数据交换,数据迁移等场景。TapData Community 是一个开源的数据集成平台,提供基础的数据同步和转换功能,可通过 Docker 一键部署,帮助您快速探索和实施数据集成项目。随着项目或企业发展,您可以平滑升级至 TapData Cloud 或 TapData Enterprise,以获得更多高级功能或服务支持。为保障数据复制/开发任务的正常运行,当您保存或启动任务时,TapData 会基于节点配置和数据源特征进行预检查,同时通过日志打印出检查结果,帮助您避免任务执行失败的风险,更高效地管理任务。
预检查日志示例
数据复制/开发任务配置完成后,执行保存或启动任务,页面底部将展示预检查信息,相关示例如下:
任务设置检测
检测项目 | 日志示例 |
---|---|
任务同步类型检测 | 【ERROR】【2023-01-01 00:00:00】【任务同步类型检测】【Node-Source】该节点的同步类型(全量)与所属任务同步类型(全量+增量)不匹配,任务无法正常启动,请对相关配置进行检查。 |
默认时区检测 | 【WARN】【2023-01-01 00:00:00】【默认时区检测】任务来源节点(Node-Source)连接的默认时区与目标节点(Node-Target)连接的默认时区不一致,可能导致同步数据的不一致问题。 |
任务模型推演检测 | 【ERROR】【2023-01-01 00:00:00】【任务模型推演检测】任务配置模型推演失败,任务无法正常启动,请对相关问题进行检查。 { 节点名称1:表名称1:字段名称1; 节点名称2:表名称2:字段名称2 } |
来源节点检测
检测项目 | 日志示例 |
---|---|
来源连接状态检测 | 【ERROR】【2023-01-01 00:00:00】【来源连接状态检测】【Node-Source】该节点数据连接不可用,任务无法正常启动,请对相关问题进行检查。 { 数据源登录权限检测失败:账号密码错误 } |
来源模型加载检测 | 【ERROR】【2023-01-01 00:00:00】【来源模型加载检测】【Node-Source】该节点数据模型加载失败,任务无法正常启动,请对相关问题进行检查。 { 表名称1; 表名称2 } |
来源类型映射检测 | 【WARN】【2023-01-01 00:00:00】【来源类型映射检测】【Node-Source】【Personinfo】【id】该字段数据类型暂不支持,将在数据读取时忽略该字段。 |
目标节点检测
检测项目 | 日志示例 |
---|---|
目标连接状态检测 | 【ERROR】【2023-01-01 00:00:00】【目标连接状态检测】【Node-Target】该节点数据连接不可用,任务无法正常启动,请对相关问题进行检查。 { 数据源登录权限检测失败:账号密码错误 } |
目标模型加载加载 | 【ERROR】【2023-01-01 00:00:00】【目标模型加载检测】【Node-Target】该节点数据模型加载失败,任务无法正常启动,请对相关问题进行检查。 { 表名称1; 表名称2 } |
目标类型映射失败 | 【WARN】【2023-01-01 00:00:00】【目标类型映射检测】【Node-Target】【Personinfo】【id】该字段数据类型暂不支持,将在数据写入时忽略该字段。 |
目标类型映射告警 | 【WARN】【2023-01-01 00:00:00】【来源类型映射检测】【Node-Target】【Personinfo】【pic】该字段映射的目标数据类型为系统推测结果,该结果可能存在偏差,请检查并确认是否符合预期,并根据实际情况调整。 |
场景化检测
类别 | 检测项目 | 说明 |
---|---|---|
来源节点 | MariaDB时区检测 | 【WARN】【2023-01-01 00:00:00】【Mariadb时区检测】【Node-Mariadb】Mariadb连接配置中的时区设置只在全量阶段生效,增量阶段无效。 |
目标节点 | Oracle非空约束检测 | 【WARN】【2023-01-01 00:00:00】【Oracle非空约束检测】【Node-Oracle】【Personinfo】【id】以Oracle数据源为目标进行非空字段写入时,无法对""进行处理。 |
目标节点 | CK主键类型检测 | 【WARN】【2023-01-01 00:00:00】【CK主键类型检测】【Node-CK】【Personinfo】以ClickHouse数据源为目标,主键数据类型为浮点时,该数据表不支持对更新删除事件的处理。 |