Tapdata
搜索文档…
Oracle共享增量同步

使用流程

假设需要对oracle进行增量同步,并且使用共享模式
源端连接为:连接A
在创建oracle同步任务前,需按照以下流程操作,即可使用共享增量模式
    1.
    全局配置开启增量同步共享模式Job.Job cdc share mode
    2.
    创建编排任务,下文统称日志采集任务,源节点选择log mining节点,节点配置选择连接A,并选择需要同步的表
    3.
    目标选择collection节点,选择一个mongodb的连接,以及填写表名,不建议修改其余配置
    4.
    保存该任务,并启动
日志共享设置
日志采集任务
执行完成上述的4步,如该日志采集任务运行正常,则可以创建需要的oracle同步任务,运行后,会自动采用日志采集任务的日志数据进行增量

版本升级

无日志采集器 - 有日志采集器

    1.
    在旧版本时,暂停所有需要共享增量的同步任务
    2.
    正常升级Tapdata并启动
    3.
    在系统设置开启共享增量日志的选项
    4.
    在新版本创建日志采集任务并启动(设置采集时间,建议比当前时间早5个小时以上)
    5.
    等待5分钟,观察日志采集任务是否正常进入同步
    6.
    启动原有的Oracle增量任务,观察增量是否成功使用共享日志
共享成功的关键日志

已有日志采集器

    1.
    检查日志采集任务是否正常运行
    2.
    如果正常运行,则直接按照流程升级Tapdata
    3.
    如果没有正常运行,则需要排查原因,使其能正常运行后,按照流程升级Tapdata

日志采集任务修改

    在任务中已有的日志源中修改表
      停止日志采集任务,在已有的日志源中添加,或者去掉表。
      保存后,不要点击重置,启动本任务。
    新增日志源
      新建日志采集任务,按上述使用流程操作即可。

常见问题

    日志采集任务正常运行,但是Oracle增量任务没有成功使用共享日志
      检查日志采集任务设置的起始时间,是否小于(早于)Oracle增量任务的起始时间
      检查日志采集任务设置的表,是否都包含了Oracle增量任务的源表
    Oracle增量任务出现ERROR日志,无法启动任务:Not found valid shared log data, and cdc log shared mode is: shared only, will stop job
      检查系统设置,Job.Job cdc use share mode only是否开启,如果开启,只能使用增量共享模式,如果无法找到共享的日志数据,则会导致任务报错停止
只使用增量共享模式
最近更新 11mo ago