TiDB

TapData Cloud 为您提供了云端服务，适合需要快速部署、低前期投资场景，帮助您更好地专注于业务发展而非基础设施管理，注册账号即可领取免费的 Agent 实例，欢迎试用。TapData Enterprise 可部署在您的本地数据中心，适合对数据敏感性或网络隔离有严格要求的场景，可服务于构建实时数仓，实现实时数据交换，数据迁移等场景。TapData Community 是一个开源的数据集成平台，提供基础的数据同步和转换功能，可通过 Docker 一键部署，帮助您快速探索和实施数据集成项目。随着项目或企业发展，您可以平滑升级至 TapData Cloud 或 TapData Enterprise，以获得更多高级功能或服务支持。

TiDB 是 PingCAP 设计、研发的开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理的融合型分布式数据库产品。完成 Agent 部署后，您可以跟随本文教程在 TapData 中添加 TiDB 数据源，后续可将其作为源或目标库来构建数据管道。

提示

为进一步简化使用流程，TapData 的 TiDB 连接器集成了 TiCDC，可基于数据变更日志解析为有序的行级变更数据。更多原理及概念介绍，见 TiCDC 概述。

支持版本

TiDB 6.0.0 及以上

注意事项

• 为保障数据的正常同步，TiDB 集群与 TapData 引擎（Agent）之间需处于同一内网且能正常通信。

• 将 TiDB 作为源以实现增量数据同步场景时，您还需要检查下述信息：

  • 待同步的表需具备主键或唯一索引，其中唯一索引所属列的值不可为 NULL 且不能为虚拟列。

  • 为避免 TiCDC 的垃圾回收影响事务或增量数据信息提取，推荐执行命令 SET GLOBAL tidb_gc_life_time= '24h' 将其设置为 24 小时。

  • 由于 TiDB 组件间通信限制，当采用 Tapdata Cloud 产品时，部署的 Agent 需为半托管实例。

准备工作

1. 登录 TiDB 数据库，执行下述格式的命令，创建用于数据同步/开发任务的账号。

   CREATE USER 'username'@'host' IDENTIFIED BY 'password';
   • username：用户名。
   • host：允许该账号登录的主机，百分号（%）表示允许任意主机。
   • password：密码。

   示例：创建一个名为 tapdata 的账号，允许从任意主机登录。

   CREATE USER 'tapdata'@'%' IDENTIFIED BY 'your_passwd';

2. 为刚创建的账号授予权限。

作为源库

-- 全量 + 增量同步所需权限如下
GRANT SELECT ON *.* TO 'username' IDENTIFIED BY 'password';

作为目标库

-- 授予指定库权限
GRANT SELECT, INSERT, UPDATE, DELETE, ALTER, CREATE, CREATE ROUTINE, CREATE TEMPORARY TABLES, DROP ON database_name.* TO 'username';

-- 授予所有库权限
GRANT SELECT, INSERT, UPDATE, DELETE, ALTER, CREATE, CREATE ROUTINE, CREATE TEMPORARY TABLES, DROP ON *.* TO 'username';

• database_name：数据库名称。
• username：用户名。

添加数据源

1. 登录 TapData 平台。

2. 在左侧导航栏，单击连接管理。

3. 单击页面右侧的创建。

4. 在弹出的对话框中，搜索并选择 TiDB。

5. 在跳转到的页面，根据下述说明填写 TiDB 的连接信息。

   

   • 连接信息设置
     • 连接名称：填写具有业务意义的独有名称。
     • 连接类型：支持将 TiDB 数据库作为源或目标。
     • PD Server 地址：填写 PDServer 的连接地址和端口，默认端口号为 2379，本参数仅在作为源库时需填写。
     • 数据库地址：数据库连接地址。
     • 端口：数据库的服务端口，默认为 4000。
     • 数据库名称：数据库名称，即一个连接对应一个数据库，如有多个数据库则需创建多个数据连接。
     • 账号、密码：数据库的账号和密码，账号的创建和授权方法，见准备工作。
   • 高级设置
     • 其他连接串参数：额外的连接参数，默认为空。
     • 时间类型的时区：默认为数据库所用的时区，您也可以根据业务需求手动指定。
     • 共享挖掘：挖掘源库的增量日志，可为多个任务共享源库的增量日志，避免重复读取，从而最大程度上减轻增量同步对源库的压力，开启该功能后还需要选择一个外存用来存储增量日志信息，本参数仅在作为源库时需填写。
     • 包含表：默认为全部，您也可以选择自定义并填写包含的表，多个表之间用英文逗号（,）分隔。
     • 排除表：打开该开关后，可以设定要排除的表，多个表之间用英文逗号（,）分隔。
     • agent 设置：默认为平台自动分配，您也可以手动指定。
     • 模型加载时间：当数据源中模型数量小于 10,000 时，每小时刷新一次模型信息；如果模型数据超过 10,000，则每天按照您指定的时间刷新模型信息。
     • 开启心跳表：当连接类型选择为源头和目标、源头时，支持打开该开关，由 Tapdata 在源库中创建一个名为 _tapdata_heartbeat_table 的心跳表并每隔 10 秒更新一次其中的数据（数据库账号需具备相关权限），用于数据源连接与任务的健康度监测。
   • SSL 设置：选择是否开启 SSL 连接数据源，可进一步提升数据安全性，开启该功能后还需要上传 CA 文件、客户端证书、密钥填写客户端密码。更多介绍，见生成自签名证书。

6. 单击连接测试，测试通过后单击保存。

   提示

   如提示连接测试失败，请根据页面提示进行修复。