跳到主要内容
版本：3.x

TapData Community 更新日志

适用版本社区版功能TapData Community 是一个开源的数据集成平台，提供基础的数据同步和转换功能，可通过 Docker 一键部署，帮助您快速探索和实施数据集成项目。随着项目或企业发展，还可以平滑升级至 TapData Cloud 或 TapData Enterprise，以获得更多高级功能或服务支持。

本文介绍 TapData Community 近期版本的更新日志，更多早期版本，请参见 GitHub Release 页面。

3.16​

新增功能​

  • 新增对 Elasticsearch 数据源的 HTTPS 连接支持，提升数据传输的安全性，满足更多数据安全合规要求
  • 新增通过新增哈希字段（默认名称为 _no_pk_hash）的方式支持无主键表的同步，保障无主键场景下的数据一致性和同步稳定性

功能优化​

  • 增强 Row Filter 节点的数据筛选逻辑，确保当数据状态从符合条件变为不符合条件时，目标数据能同步更新以保持一致性

问题修复​

  • 修复全量同步详情中无法显示已完成、同步中和未开始的所有表的问题
  • 修复耗时及里程碑统计不准确的问题
  • 修复 DNS 解析失败时，MongoDB Atlas 无法正常工作的情况

3.15​

新增功能​

  • TiDB 已通过 TapData 认证测试流程，升级为认证级别数据源，提供更丰富的特性和更高的生产稳定性

功能优化​

  • 优化处理节点的缓存管理逻辑，增强资源使用效率，提升任务执行速度

问题修复​

  • 修复开启心跳表后，任务表显示无延迟但数据未同步的问题
  • 修复设置标签时无法查看所有标签的问题
  • 修复任务重试开始时间显示为 1970 年的问题
  • 修复 Elasticsearch 作为目标库时，创建索引失败的问题

3.14​

新增功能​

  • Doris、ClickHouse、PostgreSQL、MongoDB 已通过 TapData 认证测试流程，升级为 认证级别数据源，提供更丰富的特性和更高的生产稳定性
  • PostgreSQL 作为源数据时，支持在任务设置中指定增量数据的时间点

功能优化​

  • Elasticsearch 数据源在任务配置时，支持选择写入更新策略
  • 数据复制任务源节点的表选择范围默认为主键表，并增加提示文案

问题修复​

  • 修复新任务开启心跳表后，任务进入增量阶段时出现异常的问题
  • 修复任务卡在全量阶段，重置后无法进入增量阶段的问题

3.13​

新增功能​

  • MySQL 已通过 TapData 认证测试流程，升级为 认证级别数据源，提供更丰富的特性和更高的生产稳定性

问题修复​

  • 修复开启建表同步索引开关后普通索引未正常同步的问题，确保数据同步完整性

3.12​

新增功能​

  • Dameng 已通过 TapData 认证测试流程，升级为 认证级别数据源，提供更丰富的特性和更高的生产稳定性
  • 对于 PostgreSQL 数据源，支持通过 walminer 插件进行增量数据同步，满足更多场景
  • 数据复制任务支持多表同时读取，提升数据处理的并行能力和任务执行效率

功能优化​

  • 全面提升数据同步性能
  • 优化菜单入口布局结构
  • 优化报错提示和高危操作风险提示
  • 对于不支持 hash 校验的数据源，默认禁用 hash 校验功能
  • 全量任务同步完成后，再次启动任务将重新全量同步，以确保数据一致性

问题修复​

  • 修复任务完成后部分任务监控指标丢失的问题
  • 修复中间库缺少必要索引导致的查询效率问题，减少了数据扫描量
  • 修复数据校验下载异常数据时选择“仅显示差异字段”却下载了全部字段的问题
  • 修复在集群管理中修改引擎名称后任务设置仍显示旧名称的问题
  • 修复任务编辑时可能会卡在模型生成中的问题，提升了任务编辑体验
  • 修复数据复制任务在增量阶段任务停止后再启动时，全量完成时间显示不正确的问题
  • 修复 TDengine 写入超级表时，字段较多引发的 SQL 语句长度超限的问题
  • 修复 TDengine 为源的数据转换任务中，表名含中文时任务报错的问题
  • 修复在 PostgreSQL 数据源上运行挖掘任务时可能出现的异常情况
  • 修复 MongoDB 到 Kafka 的数据转换任务在增量阶段的特定异常问题
  • 修复数据转换任务中，MongoDB oplog 同步到 Kafka 时模型中多了 _id 字段的问题
  • 修复 MongoDB oplog 数据复制任务在同步过程中无法正常复制的问题

3.11​

新增功能​

  • 在数据转换任务配置阶段，源节点模型预览区域支持单表模型的重新加载，提高加载效率
  • 新增时间探测功能，自动探测引擎部署服务器和数据库服务器的时间差，并在任务监控页面展示

功能优化​

  • 用户定义的字段业务描述可直接展示在表样例数据的列名位置

问题修复​

  • 修复 MongoDB 数据库 cursor 超时导致任务无法正常全量同步的问题
  • 修复源节点数据过滤设置中自定义 SQL 过滤开关无法打开的问题

3.10​

新增功能​

  • 数据复制任务新增多表合并节点，可对同一数据库中的多个表执行合并操作（UNION），可用于整合和分析数据等场景
  • Doris 数据源支持无证书的 HTTPS 连接方式
  • MySQL、Oracle、OpenGauss、SQL Server、PostgreSQL 数据源，支持任务配置时，在节点的高级配置中启用 Hash 分片功能，可大幅提升大表的全量数据同步速度
  • 新增 VastBase 数据源，成熟度为 Beta，进一步丰富数据源种类

功能优化​

  • 优化时区类字段的同步逻辑

问题修复​

  • 修复源端 MySQL 不支持增量时，任务报错信息不明确且错误码的详细信息中缺少相关提示的问题
  • 修复任务警告的警报格式不正确的问题
  • 修复导入的任务显示有运行记录，且当前运行记录状态显示为删除中的问题
  • 修复任务目标表关联键设置后，编辑任务时自动推演模型错误地修改关联键的问题
  • 修复 Python 节点移除字段可能失败的问题
  • 修复在主从合并操作中，删除主节点后，主从合并节点配置异常导致任务错误的问题
  • 修复在引擎服务器未设置 UTF 字符编码的场景下，如果源端发生 DDL，导致任务的中文节点名称出现乱码的问题

3.9.0​

新增功能​

  • 创建共享缓存新增使用共享挖掘按钮，简化缓存任务配置，提升缓存共享的效率和灵活性

功能优化​

  • ElasticSearch 数据源添加字段限制配置参数
  • MongoDB 数据源开启 preimage 能力时，优化异常处理逻辑

问题修复​

  • 修复任务事件统计指标上报时偶现丢失部分指标的问题
  • 修复共享缓存任务未执行共享挖掘时，如果数据没有变化，在重启或升级引擎时可能因超出日志时间窗口而导致任务错误的问题
  • 修复在写入模式为更新子文档的场景下，源表的 unset 操作可能导致任务报错的问题
  • 修复 MongoDB 与 MySQL 执行 Join 合并场景下，MongoDB 集合中包含时间类型可能引发报错的问题
  • 修复在主从合并场景下，增量更新事件意外执行反查的问题
  • 修复主从合并节点修改列时的冲突报错问题

3.8.0​

功能优化​

  • 优化任务的表模型主键和索引的展示方式
  • 优化模型推演逻辑，支持在引擎直接进行模型推演

问题修复​

  • 修复数据源异常处理存在忽略部分异常的问题
  • 修复时间字段做关联键的聚合任务，反查不到数据的问题
  • 修复挖掘任务延迟时间异常的问题
  • 修复 MySQL 作为源时，大表初始化同步会占用大量数据库内存的问题

3.7.0​

新增功能​

  • 新增 Mock Source 和 Mock Target 数据源，可用于数据迁移测试场景

功能优化​

  • 优化启动任务时的跳过错误的交互逻辑

问题修复​

  • 修复任务运行模型与配置模型不一致的问题
  • 修复过滤源端数据后，任务事件统计不准确的问题
  • 修复 Oracle 和 PostgreSQL 同步场景下，时区处理异常的问题
  • 修复连接列表加载速度过慢的问题
  • 修复心跳任务重置失败时，可能导致相关联任务无法启动的问题