跳到主要内容
版本:3.x

快速创建数据复制任务

适用版本Cloud 功能TapData Cloud 为您提供了云端服务,适合需要快速部署、低前期投资场景,帮助您更好地专注于业务发展而非基础设施管理,注册账号即可领取免费的 Agent 实例,欢迎试用。

数据复制功能可以帮助您实现同/异构数据源间的实时同步,适用于数据迁移/同步、数据灾备、读性能扩展等多种业务场景。TapData 支持通过表单式引导快速创建复制任务,本文介绍具体操作流程。

操作步骤

最佳实践
为构建高效可靠的数据复制任务,推荐在开始配置任务前,推荐阅读数据同步最佳实践
  1. 登录 TapData 平台

  2. 在左侧导航栏,单击数据复制

  3. 单击页面右侧的快速创建任务,跳转到任务表单填写页面

  4. 首先选择作为源库的数据源,您可以选择创建新的连接选择已有连接

    选择数据源

    提示

    接下来,本文以选择已有连接为例,演示如何将 MySQL 实时同步至 MongoDB,其他数据源也可参考此流程。关于如何提前创建数据源,见连接数据源

  5. 选择已有连接并选择作为源库的 MySQL 数据源,然后单击下一步

  6. 选择已有连接并选择作为目标库的 MongoDB 数据源,然后单击下一步

  7. 配置任务步骤,根据下述说明配置任务详情。

    配置任务

    • 任务名称:填写具有业务意义的名称。
    • 同步类型:默认为全量+增量,也可单独选择全量增量。 全量表示将源端的存量数据复制到目标端,增量表示将源端实时产生的新数据或数据变更复制到目标端,二者结合可用于实时数据同步场景。
    • 重复处理策略:根据业务需求选择,默认为保持目标端原有表结构和数据
    • 选择表:根据业务需求选择。
      • 按表名选择:在待复制表区域框选中表,然后单击向右箭头完成设置。
      • 按正则表达式匹配:填写表名的正则表达式即可,此外,当源库新增的表满足表达式时,该表也会被自动同步至目标库。
    • 选择可见的表范围:默认展示全部表,您也可以选择过滤仅有主键表仅无主键表,其中,主键表包含具有唯一索引的无主键表。由于无主键表采用全主键的方式来实现数据更新,可能因索引长度超限而报错,且性能可能受限,因此推荐您为无主键表单独建立数据复制任务,避免任务出错,提升数据更新的性能。
  8. 单击下一步,配置任务的更多设置。

    任务设置

    • 基础设置

      • 全量多线程写入:全量数据写入的并发线程数,默认为 8,可基于目标端写性能适当调整。
      • 增量多线程写入:增量数据写入的并发线程数,默认未启用,启用后可基于目标端写性能适当调整。
      • 每批次写入条数:全量同步时,每批次写入的条目数。
      • 每批写入最大等待时间:根据目标库的性能和网络延迟评估,设置最大等待时间,单位为毫秒。
      • DDL 同步配置:选择 DDL 事件处理策略,默认为自动忽略所有 DDL。选择为同步 DDL 事件后,您还可以选择要采集的 DDL 事件,通常包含新增字段修改字段名修改字段属性删除字段。更多介绍,见处理 DDL 变更
      • 数据读取配置:选择全量和增量阶段每批读取的条目数,默认值分别为 500 和 1,以及选择是否启用多表并发读取(适用于小表较多的场景)。
      • 数据写入配置:选择数据写入策略:
        • 按事件类型处理:选择此项后,还需要选择插入、更新、删除事件的数据写入策略。
        • 统计追加写入:只处理插入事件,丢弃更新和删除事件。
    • 高级设置

      • 事件处理出现异常时:默认为重试,也可以选择跳过异常事件,任务继续运行。
      • 其他设置:设置任务开始的时间、共享挖掘、定期调度任务、动态调整内存、增量数据处理模式、处理器线程数、Agent 等。
    • 告警设置:默认情况下,节点的平均处理耗时连续 1 分钟大于等于 5 秒,则发送系统通知和邮件通知,您也可以根据业务需求调整规则或关闭告警。

  9. 配置完毕后,单击启动任务

  10. 启动成功后会自动跳转至任务监控页面,您可以查看任务的 RPS(每秒处理记录数)、延迟、任务事件等信息。

    此外,为保障任务的正常运行,TapData 会基于节点配置和数据源特征进行预检查,您可在页面下方查看到打印的日志信息。

    任务监控

扩展阅读

  • 处理节点:通过组合多个处理节点和多个数据源,可实现更加复杂和个性化的数据流转能力。
  • 常见问题:介绍数据复制功能使用过程中,可能遇到的问题及解决方案。