跳到主要内容
版本：3.x

更新日志

本文介绍 V3.x 的版本更新日志，早期版本请参见 V2.x 版本更新日志。

V3.5.7​

新增功能​

  • 支持对 Oracle 数据源加载表注释，可在配置数据源时的高级选项中开启，方便通过注释信息快速识别表的业务含义
  • 支持在 Windows 平台中部署 Tapdata，进一步丰富部署平台支持度
  • 任务运行监控页面中，支持基于事件大小的维度来查看 QPS 信息

问题修复​

  • 修复重置任务后重新运行任务时，增量信息未清理成功的问题
  • 修复部分 SaaS 数据源在执行全量数据同步时，显示增量时间点的问题

V3.5.6​

功能优化​

  • 优化数据源连接方式，MySQL、PostgreSQL、Kafka、TiDB、MariaDB 等数据源支持 SSL 连接，可帮助进一步提升数据安全性
  • 优化数据校验的过滤功能，支持通过 SQL 实现自定义查询和聚合查询过滤
  • 优化界面交互逻辑
  • 针对非主键的更新条件，创建唯一索引来解决数据重复的问题

问题修复​

  • 修复表名包含 . 时可能出现的数据同步失败问题
  • 修复任务异常信息未包含表名的问题

V3.5.5​

新增功能​

  • 新增支持 Hive3 作为目标
  • MongoDB 作为目标时，新增支持自动创建分片集合
  • 新增 Unwind 处理节点，可帮助您高效地将数组中的每个元素“展开”，将每个元素转换为独立的数据行
  • 配置任务时，新增支持禁用节点能力，鼠标悬停至节点上即可选择该功能，可帮助减少数据在处理过程中的流转成本

功能优化​

  • 优化已发布的 API 权限范围的设置，无需取消发布即可调整权限
  • 配置数据复制任务时，可通过可选择的表范围下拉框快速过滤出有主键或无主键表，其中有主键表包含具有唯一索引的无主键表

问题修复​

  • 修复了 MongoDB 作为目标时，INSERT 操作遇到无分片键发生报错的问题
  • 修复了 MongoDB 不支持 REPLACE，即 REPLACE 删掉的字段无法被正常删除的问题

V3.5.4​

新增功能​

  • 新增构建物化视图功能，可快速构建实时数据模型
  • 新增支持对共享挖掘任务的源节点进行配置调整，支持设置是否启用增量多线程写入和补充更新数据的完整字段
  • Kafka 数据源新增支持设置副本数和分区数
  • MongoDB 间同步时，新增对 $unset 操作的支持

功能优化​

  • 数据校验功能字段过滤体验优化
  • 支持在数据复制/数据转换配置的页面顶部，通过搜索节点来快速定位目标节点

V3.5.2​

新增功能​

  • 新增 Python 处理节点，支持通过 Python 脚本来自定义数据处理逻辑，相较于 JS 处理节点性能有一定提升
  • 新增支持 Redis 间的数据同步能力

功能优化​

V3.5.1​

  • 创建角色时，支持对功能和数据权限的精细化权限授予

功能优化​

  • 对核心数据源（如 PostgreSQL、Redis等），优化创建连接时的页面参数介绍和指引
  • 优化将 MongoDB 作为外存时的测试项

问题修复​

  • 修复了运行过的任务无法查看运行监控页面的问题

V3.4​

新增功能​

  • 当任务配置为全量+增量时，支持开启定期调度任务功能，到达该时间点后任务会自动停止、重置并重新运行
  • 对于增删字段节点，支持字段顺序调整功能
  • 任务设置新增动态调整内存功能（默认开启），全量同步阶段，识别内存占用量并自动调整内存队列，可有效避免内存资源短缺场景下的内存溢出
  • 数据面板更名为实时数据中心，同时增加使用和任务创建引导
  • 新增目标写入策略，当更新事件不存在时，支持将更新事件写入到本地日志

功能优化​

  • 优化提升数据校验可用性和页面交互
  • 新增 MongoDB 数据源的错误码实现
  • 优化运行监控页面左侧的增量延迟指标，以任务的增量延迟告警阈值作为 Y 轴数据来源
  • 优化样本数据展现

问题修复​

  • 修复引擎规格中的任务数量限制
  • 修复使用自定义 SQL 时，MongoDB 作为目标库错误提示不支持的问题
  • 修复任务开启自动周期调度后，如果自动重置失败，在下个运行周期时不会再次尝试重置，任务也不会再被调度运行的问题

V3.3​

新增功能​

功能优化​

问题修复​

  • 启动TM时如果没配置 java 环境变量，会导致启动不了，此时添加了针对该问题的日志输出
  • 修复了 admin 用户，在个人中心修改用户名后，所有菜单都不能查看的问题
  • 修复了数据复制/数据转换创建任务时，所有数据源都不支持 DDL 的问题
  • 修复了数据复制任务，配置表编辑节点时，添加前后缀输入一个字符加载一次的问题

V3.2​

新增功能​

功能优化​

  • 产品菜单调整，数据开发更名为数据转换，另有部分功能移至高级设置（如共享缓存）中
  • 无主键数据表管理交互优化，例如在配置数据复制任务时，支持筛选无主键表并增加主键表的标识
  • 对于外存配置的 MongoDB 数据源，加入连接测试能力
  • 新建的外存，当选择 MongoDB 时支持使用 SSL 连接
  • 创建 HttpReceiver 数据源时支持试运行脚本，同时增加访问鉴权功能
  • 标准 JS 节点能力调整，增加 LinkedHashMap 数据结构和 context.global 对象
  • 字段编辑处理节点，界面交互优化
  • 任务启动和重新加载 Schema 的冗余提示优化
  • 数据复制任务，支持手动添加新表，新增表的可实现全量+增量数据同步
  • 数据校验使用与界面交互优化
  • 任务节点配置处理逻辑优化
  • 数据面板中的平台缓存层和数据加工层中，可展示由数据复制/转换任务生成的连接和表信息
  • 数据面板中的数据目录模式下，支持对表和字段添加描述信息
  • Tapdata 部署流程和提示调整优化
  • Tapdata 启动器优化，重新启动服务无需重复注册数据源
  • 在 Agent 启动和停止节点时，自动停止 PDK 注册
  • 数据复制任务与数据转换任务配置交互的整体优化

问题修复​

  • 修复了 2 个 Oracle 数据源指定不同的外存，挖掘合并后导致外存不是用户指定的问题
  • 修复了导入任务数据源开启了共享挖掘，外存配置显示为id且不可修改的问题
  • 修复了数据源到平台缓存层的任务合并问题

V3.1​

新增功能​

功能优化​

  • 共享挖掘任务管理优化，支持启停单个表的挖掘任务
  • 共享缓存、函数、API 数据服务支持导入导出功能
  • 数据校验支持配置告警信息的规则和通知方式
  • 数据校验自动填充表逻辑优化
  • 前端增加标准 JS 和增强 JS 的功能区分说明
  • JS 处理器标准化、JS 用法及试运行重构
  • 在所有支持写 JS 脚本的处理节点中，当输入 record. 时可自动提示当前模型的字段名
  • 重置时清除外存数据导致超时问题优化
  • 支持修改主键
  • 支持通过脚本统一设置任务增量同步间隔默认时间
  • License 优化，通过绑定 IP 地址避免硬件信息变化导致 License 失效
  • Excel 数据源使用提示优化，增加提示信息
  • 性能优化
    • JS 节点处理性能优化
    • 字段处理节点处理性能优化
    • 主从合并节点性能优化
    • 字段编辑节点在多字段场景下的前端展示优化
  • 数据类型边界提示及处理逻辑优化
  • 连接管理的筛选栏，数据库类型下拉列表支持搜索和清除选中
  • 错误码弹窗，错误堆栈增加一键复制的功能

问题修复​

  • 修复针对轮询源的增量，没有增量时间点指标的问题
  • 修复模型变化后，会强制删除更新字段的问题
  • 修复类型修改、 增删字段、字段改名的节点配置，在加载模型的时候会被重置的问题
  • 修复打开全量自定义开关时，目标是 MongoDB 出现报错的问题

V3.0​

新增功能​

功能优化​

  • 共享缓存功能优化，提供可观测页面，便于观察挖掘进度和故障排查。
  • 全量自定义查询功能，放开仅能使用 JS 节点的限制，也支持添加其它处理节点，节点模型直接使用源表的模型。
  • 增删字段、类型修改、字段改名等字段处理节点，支持字段搜索功能。
  • 连接配置中 Schema 加载频率配置文案调整。
  • 表编辑节点的表名修改逻辑优化，去掉应用按钮，配置直接生效。
  • 管理进程（frontend）启动时，与同步治理进程一样，增加了 heapDump、stackTrace 相关参数。
  • 增加任务编辑版本，避免多人编辑同一任务时，低版本配置覆盖高版本配置。
  • 数据源配置右侧的说明文档， 支持放大图片。
  • Oracle 数据源错误码实现。