最佳实践
TapData Cloud 为您提供了云端服务,适合需要快速部署、低前期投资场景,帮助您更好地专注于业务发展而非基础设施管理,注册账号即可领取免费的 Agent 实例,欢迎试用。TapData Enterprise 可部署在您的本地数据中心,适合对数据敏感性或网络隔离有严格要求的场景,可服务于构建实时数仓,实现实时数据交换,数据迁移等场景。TapData Community 是一个开源的数据集成平台,提供基础的数据同步和转换功能,可通过 Docker 一键部署,帮助您快速探索和实施数据集成项目。随着项目或企业发展,您可以平滑升级至 TapData Cloud 或 TapData Enterprise,以获得更多高级功能或服务支持。📄️ 数据同步最佳实践
本指南旨在提供使用 TapData 进行数据同步时的最佳实践,我们将从数据源分析、任务配置和运行监控等方面具体介绍,帮助您构建高效、可靠的数据同步任务。
📄️ 处理 DDL 变更
在使用 TapData 进行数据迁移和同步的过程中,了解数据源的表结构变更操作(如 DDL 操作)对数据流转的影响至关重要。TapData 致力于无缝处理大多数 DDL 变更,您需要了解表结构变更(如增减列)对数据同步流程的潜在影响,避免影响业务正常运行。
📄️ 通过心跳表监测数据同步链路
TapData 通过心跳表的设计,每隔 10 秒向源库写入时间戳信息,通过检查心跳表中的时间戳信息,我们可以快速判断数据源的活跃性和链路健康状况,从而更好地监测数据同步链路,保障数据同步链路的稳定性和可靠性。
📄️ 通过 QQ 邮箱发送告警信息
TapData 支持通过 SMTP 协议来发送告警邮件,可以实现在用户常用的邮箱中及时接收到异常通知,从而帮助您及时感知运行异常,保障任务运行的稳定性和可靠性。
📄️ 通过全量断点续传保障海量数据迁移
面对海量数据的迁移场景,您可以借助 TapData 的全量断点续传功能,将数据分片并迁移,提高数据迁移的可靠性,保障迁移任务的成功运行。
📄️ 部署 Oracle 裸日志解析服务
为了提高数据变更捕获的效率,TapData 不仅支持使用数据库原生日志解析工具(LogMiner),还开发了直接解析数据库增量日志文件的能力,从而实现更高效的事件捕获,可获得更高的采集性能(每秒处理的记录数 RPS 20,000 以上),降低采集增量数据对源库的影响,但由于需要单独部署额外的组件,会增加一定的运维成本,适用于数据变更频繁的场景。