跳到主要内容
版本：3.x

TapData Cloud 更新日志

适用版本Cloud 功能TapData Cloud 为您提供了云端服务，适合需要快速部署、低前期投资场景，帮助您更好地专注于业务发展而非基础设施管理，注册账号即可领取免费的 Agent 实例，欢迎试用。

为提升用户体验，TapData Cloud 通过发布新版本的方式丰富/优化产品功能、修复已知缺陷。本文介绍 TapData Cloud 的更新日志，帮助您更好地掌握新功能特性。

2024-10-17​

新增功能​

  • Kafka-Enhanced、TiDB 已通过 TapData 认证测试流程，升级为认证级别数据源，提供更丰富的特性和更高的生产稳定性

功能优化​

  • 为 SQL Server 大量表（超过 500 表）同步场景，增加多线程 CT 表轮询开关，优化增量采集性能，提升同步效率
  • 优化处理节点的缓存管理逻辑，增强资源使用效率，提升任务执行速度
  • 为 Oracle LogMiner PGA 超出限制错误引入自动重试机制，增强容错能力

问题修复​

  • 修复开启心跳表后，任务表显示无延迟但数据未同步的问题
  • 修复设置标签时无法查看所有标签的问题
  • 修复任务重试开始时间显示为 1970 年的问题
  • 修复 Elasticsearch 作为目标库时，创建索引失败的问题

2024-10-10​

新增功能​

  • Doris、ClickHouse、KingBaseES-R6、PostgreSQL、SQL Server、MongoDB 已通过 TapData 认证测试流程，升级为 认证级别数据源，提供更丰富的特性和更高的生产稳定性
  • PostgreSQL 作为源数据时，支持在任务设置中指定增量数据的时间点

功能优化​

  • Elasticsearch 数据源在任务配置时，支持选择写入更新策略
  • 数据复制任务源节点的表选择范围默认为主键表，并增加提示文案

问题修复​

  • 修复新任务开启心跳表后，任务进入增量阶段时出现异常的问题
  • 修复任务卡在全量阶段，重置后无法进入增量阶段的问题

2024-09-20​

新增功能​

  • MySQL 已通过 TapData 认证测试流程，升级为 认证级别数据源，提供更丰富的特性和更高的生产稳定性
  • 新增表单模式引导构建复制任务，简化任务创建流程，提升操作便捷性

功能优化​

  • 挖掘任务新增按今日挖掘数量排序功能，方便任务管理和筛选

问题修复​

  • 修复开启建表同步索引开关后普通索引未正常同步的问题，确保数据同步完整性

2024-08-21​

新增功能​

  • Oracle、Dameng、Db2 已通过 TapData 认证测试流程，升级为 认证级别数据源，提供更丰富的特性和更高的生产稳定性
  • 全托管实例新增流量付费功能，支持流量账单查看和支付，让用户轻松监控流量使用，便捷管理账单
  • 对于 PostgreSQL 数据源，支持通过 walminer 插件进行增量数据同步，满足更多场景
  • 数据复制任务支持多表同时读取，提升数据处理的并行能力和任务执行效率

功能优化​

  • Agent 部署页面新增网络白名单配置指南，帮助轻松配置 Agent 与管理端的通信
  • 优化报错提示和高危操作风险提示
  • 全面提升数据同步性能
  • 对于不支持 hash 校验的数据源，默认禁用 hash 校验功能
  • 全量任务同步完成后，再次启动任务将重新全量同步，以确保数据一致性

问题修复​

  • 修复任务完成后部分任务监控指标丢失的问题
  • 修复中间库缺少必要索引导致的查询效率问题，减少了数据扫描量
  • 修复数据校验下载异常数据时选择“仅显示差异字段”却下载了全部字段的问题
  • 修复在集群管理中修改引擎名称后任务设置仍显示旧名称的问题
  • 修复任务编辑时可能会卡在模型生成中的问题，提升了任务编辑体验
  • 修复大规格 Agent 在低配置服务器上由于内存不足无法启动的问题
  • 修复 Agent 可能出现的 OOM 报错问题，增强了内存管理和稳定性
  • 修复全量任务有时会卡在运行中状态的问题，提升了任务执行的顺畅性
  • 修复数据复制任务在增量阶段任务停止后再启动时，全量完成时间显示不正确的问题
  • 修复 TDengine 写入超级表时，字段较多引发的 SQL 语句长度超限的问题
  • 修复 TDengine 为源的数据转换任务中，表名含中文时任务报错的问题
  • 修复在 PostgreSQL 数据源上运行挖掘任务时可能出现的异常情况
  • 修复 Oracle 到 Doris 的共享挖掘任务中源表 DDL 事件无法解析的问题
  • 修复 Oracle 同步至 PostgreSQL 无主键表时，出现的插入和删除异常问题，提升了同步可靠性
  • 修复 MongoDB 到 Kafka 的数据转换任务在增量阶段的特定异常问题
  • 修复数据转换任务中，MongoDB oplog 同步到 Kafka 时模型中多了 _id 字段的问题
  • 修复 MongoDB oplog 数据复制任务在同步过程中无法正常复制的问题

2024-08-06​

新增功能​

  • 在数据转换任务配置阶段，源节点模型预览区域支持单表模型的重新加载，提高加载效率
  • 新增时间探测功能，自动探测引擎部署服务器和数据库服务器的时间差，并在任务监控页面展示

功能优化​

  • 用户定义的字段业务描述可直接展示在表样例数据的列名位置

问题修复​

  • 修复实时数据平台某些表数据量统计为空的问题
  • 修复实时数据平台发布 API 时路径未显示 host 的问题
  • 修复 MongoDB 数据库 cursor 超时导致任务无法正常全量同步的问题
  • 修复源节点数据过滤设置中自定义 SQL 过滤开关无法打开的问题
  • 修复云版线上全托管 Agent 的邮件告警格式错误的问题

2024-07-20​

新增功能​

  • 数据复制任务新增多表合并节点，可对同一数据库中的多个表执行合并操作（UNION），可用于整合和分析数据等场景
  • Doris 数据源支持无证书的 HTTPS 连接方式
  • MySQL、Oracle、OpenGauss、SQL Server、PostgreSQL 数据源，支持任务配置时，在节点的高级配置中启用 Hash 分片功能，可大幅提升大表的全量数据同步速度
  • 新增 VastBase 数据源，成熟度为 Beta，进一步丰富数据源种类

功能优化​

  • 优化时区类字段的同步逻辑
  • 日志连续挖掘设置优化展示逻辑，当数据库的版本不支持此功能时自动隐藏相关按钮

问题修复​

  • 修复采用了共享挖掘的 MongoDB 同步任务中，增量同步延迟显示的问题
  • 修复源端 MySQL 不支持增量时，任务报错信息不明确且错误码的详细信息中缺少相关提示的问题
  • 修复任务警告的警报格式不正确的问题
  • 修复导入的任务显示有运行记录，且当前运行记录状态显示为删除中的问题
  • 修复在创建 FDM 复制任务时，修改表名时未正常显示的问题
  • 修复任务目标表关联键设置后，编辑任务时自动推演模型错误地修改关联键的问题
  • 修复 Python 节点移除字段可能失败的问题
  • 修复在主从合并操作中，删除主节点后，主从合并节点配置异常导致任务错误的问题
  • 修复应用管理中，创建应用时提示标签名称已存在的问题
  • 修复在引擎服务器未设置 UTF 字符编码的场景下，如果源端发生 DDL，导致任务的中文节点名称出现乱码的问题

2024-07-05​

功能优化​

  • 实时数据中心功能优化：
    • 数据加工层支持显示库中所有模型
    • 平台缓存层与平台加工层可选择不同的的连接，设置后不可调整
    • 增加 API 发布入口
    • 优化模型详情的展示
  • ElasticSearch 数据源添加字段限制配置参数
  • MongoDB 数据源开启 preimage 能力时，优化异常处理逻辑

问题修复​

  • 修复任务事件统计指标上报时偶现丢失部分指标的问题
  • 修复共享缓存任务未执行共享挖掘时，如果数据没有变化，在重启或升级引擎时可能因超出日志时间窗口而导致任务错误的问题
  • 修复在 MDM_model 下禁用从节点后导致任务启动失败的问题
  • 修复实时数据中心的血缘图偶现无法展示的问题
  • 修复在写入模式为更新子文档的场景下，源表的 unset 操作可能导致任务报错的问题
  • 修复 MongoDB 与 MySQL 执行 Join 合并场景下，MongoDB 集合中包含时间类型可能引发报错的问题
  • 修复在实时数据中心创建的任务无法添加主从合并节点的问题
  • 修复在主从合并场景下，增量更新事件意外执行反查的问题
  • 修复主从合并节点修改列时的冲突报错问题

2024-06-21​

新增功能​

  • TiDB 数据源能力增强，支持实时增量同步

功能优化​

  • 优化任务的表模型主键和索引的展示方式
  • 优化模型推演逻辑，支持在引擎直接进行模型推演

问题修复​

  • 修复数据源异常处理存在忽略部分异常的问题
  • 修复时间字段做关联键的聚合任务，反查不到数据的问题
  • 修复挖掘任务延迟时间异常的问题
  • 修复 MySQL 作为源时，大表初始化同步会占用大量数据库内存的问题

2024-06-07​

新增功能​

  • 新增 Mock Source 和 Mock Target 数据源，可用于测试/模拟场景

功能优化​

  • 优化启动任务时的跳过错误的交互逻辑

问题修复​

  • 修复任务运行模型与配置模型不一致的问题
  • 修复过滤源端数据后，任务事件统计不准确的问题
  • 修复 Oracle 和 PostgreSQL 同步场景下，时区处理异常的问题
  • 修复连接列表加载速度过慢的问题
  • 修复心跳任务重置失败时，可能导致相关联任务无法启动的问题

2024-05-21​

新增功能​

  • 支持在配置数据转换任务时，为目标表名动态生成日期后缀，适用于每日定期执行批处理的场景
  • 支持在配置 Doris 数据源时设置分区
  • 支持 OceanBase 数据源的 Oracle 模式，数据源名称为 Oceanbase(Oracle)

功能优化​

  • 优化 MongoDB 同步到关系型数据库（如 MySQL）的数据处理逻辑
  • 优化 Dummy 数据源，支持快速添加大字段以用于性能测试场景

问题修复​

  • 修复 MariaDB 无法将 0000-00-00 00:00:00 格式数据写入目标的问题
  • 修复心跳表被误删后心跳任务无法自动恢复的问题
  • 修复共享挖掘任务出现错误后，无法序列化的问题

2024-05-06​

新增功能​

  • 支持 MySQL 间、PostgreSQL 间的双向数据同步能力，更好满足多活和容灾场景
  • 支持 MongoDB Relmig 1.3.0 以上版本的文件导入能力，进一步完善生态对接能力
  • 支持同步 MongoDB 的 Oplog（操作日志）数据
  • 支持在配置数据转换任务时，在源节点的高级设置中选择对表的时间字段进行过滤（例如相对日期）
  • 支持在任务列表页面，展示任务里程碑信息，帮助用户快速获知任务的关键进度状况

功能优化​

  • 优化 Unwind 节点，支持设置展开模式，如内嵌对象或平铺字段
  • 优化全量同步详情页面展示，支持通过表名快速过滤表

问题修复​

  • 修复特定场景下，调整告警设置可能影响任务正常运行的问题
  • 修复新增挖掘表时，任务显示挖掘任务异常的问题

2024-04-26​

新增功能​

  • 数据复制任务支持表级别的断点续传能力，任务重启时可以直接从未完成同步的表继续同步
  • 支持通过拖拽快速设置任务标签
  • 支持 MySQL 主从架构，发生主从切换后，相关任务可继续正常同步数据

功能优化​

  • Windows 版本的 Cloud Agent 新增数字证书签名，避免系统安全性提示阻碍安装流程
  • 优化用户中心页面

缺陷修复​

  • 修复阿里云 PolarDB MySQL 数据源，因不支持特定事件导致任务报错的问题
  • 修复全量任务同步完成，统计指标中显示统计进度不正确的问题

2024-04-12​

新增功能​

  • 支持对 TiDB 数据源的实时日志解析能力，可满足增量数据同步需求
  • 在 Oracle 全量同步至 MySQL 阶段，支持同步未使用函数的唯一索引和普通索引
  • 支持在启动任务时，选择跳过上一次运行时出现的错误

功能优化​

  • 优化数据同步任务场景下，源节点中的 DDL 同步设置，选择遇到 DDL 报错时可配置要忽略的 DDL 语句（基于正则表达式）
  • 优化数据校验能力，支持对包含处理节点的任务进行校验
  • 优化数据校验结果页展示，支持快速过滤一致和不一致的表

问题修复​

  • 修复 MongoDB 作为外存场景下，当存储的 Value 是 Map 类型且 Key 为带 . 符号的 String 时，发生异常的问题
  • 修复 对Kafka 数据源执行连接测试时，包含非 JSON 的主题会发生循环异常的问题
  • 修复 JS 节点在特定场景下，试运行报错的问题
  • 修复使用主从合并节点时，更改关联键值引发数据不正确的问题
  • 修复 RocksDB 作为缓存存储，可能引发任务报错的问题

2024-03-29​

功能优化​

  • 为进一步提升用户体验，成熟度为 Beta 和 Alpha 的数据源需申请使用，TapData 可基于您的业务场景提供更好的技术支持

问题修复​

  • 修复了特定场景下，Agent 发生异常的问题
  • 修复了 MongoDB RM 文件导入异常的问题

2024-03-08​

新增功能​

  • 支持设置默认告警接收人，可自定义告警接收邮箱地址（支持多个）
  • DDL 同步设置，新增遇到 DDL 操作时任务报错停止和自动忽略 DDL选项，可适应不同业务场景需求
  • 新增时间字段注入节点，可在数据同步过程中为流经的数据增加一个自定义的时间戳字段，从而提供更灵活的方式来获取源库的增量变更

功能优化​

  • 优化任务重试逻辑和界面提示信息
  • 优化增量采集时刻设置，支持快速选择上一次增量运行时所处的增量时间点
  • 优化主从合并节点使用外存的交互处理逻辑

2024-01-26​

新增功能​

  • 新增支持共享挖掘功能，可为多个任务共享源库的增量日志，避免重复读取，从而最大程度上减轻增量同步对源库的压力。
  • 共享挖掘功能支持使用 RocksDB 作为本地外存，可实现对增量日志的存储扩展。

功能优化​

  • 优化 Google 云市场用户的新手引导流程
  • 任务监控页面，增加增量阶段的时间过滤选项，便于快速观察增量阶段的 RPS
  • 针对可能对数据库造成影响的关键操作（例如过滤源表数据），增加相关提示信息
  • 优化实例订阅到期后的退订逻辑

问题修复​

  • 修复主从合并节点，当主表与子表关键条件变化时，最终数据与预期不符合的问题

2024-01-12​

新增功能​

  • MongoDB 间的数据同步场景，新增支持 Capped 集合
  • 数据复制/转换任务支持导入能力，您可以在 MongoDB Relational Migrator 上设计好数据流转流程并将其导出，随后在 TapData 数据管道右上角直接导入，进一步提升数据管道设计便利性

功能优化​

  • 优化新用户引导流程，支持收起相关提示和返回上一步骤

问题修复​

  • 修复 JS 节点模型声明设置在任务编辑页面提示错误的问题
  • 修复 Oracle 同步至 MySQL 时，DROP COLUMN 操作未正常同步的问题
  • 修复 MySQL 同步至 ClickHouse 时，DDL 报错的问题
  • 修复 WebSocket 频繁重连导致任务不稳定的问题
  • 修复若干 UI 交互体验问题