名词解释
本文介绍 TapData 常见的术语,帮助您快速理解产品和功能概念。
全量数据同步
即数据库迁移/数据库克隆,在数据流任务中,各种库级别数据源之间的数据全量迁移,适用于实例数据迁移、数据上下云迁移、数据库拆分扩容等业务场景。
增量数据同步
在数据流任务中,多个数据源之间通过特定的关联关系或处理的数据实时同步,适用于在不影响用户业务的情况下,满足用户对数据的分析、处理、灾备等方面的场景。
数据源
从外部连接到TapData系统的数据来源。当前支持的数据源主要指数据库(Database),后续将逐步增加File、GridFS、RestAPI、Dummy、Custom、UDP、Cache等类型。
数据复制
又指数据库复制/数据库克隆,在数据流任务中,各种库级别数据源之间的数据全量或实时增量迁移,适用于实例数据迁移、数据上下云迁移、数据库拆分扩容等业务场景。
数据转换
在数据流任务中,多个表或其他类型数据类型之间通过特定的关联关系或处理的数据实时同步,适用于在不影响用户业务的情况下,满足用户对数据的分析、处理、灾备等方面的场景
数据服务
在数据流任务中,将一个或多个表不同的字段生成新的模型以API的方式发布到外部环境,用户可通过API主动的获取数据内容。
连接
又称数据源,即从外部连接到TapData系统的数据库。当前支持的连接包含:mysql、Oracle、MongoDB、 SQL Server、PostgreSQL、Kafka、 Redis 等。
节点
指的是数据任务的编排页面里所拖选的数据源、处理方式的统称。
处理节点
指的是为满足数据同步需求的各种处理功能的节点,当前支持的处理节点包含:JavaScript/Java处理、数据库表过滤、字段处理、行级处理等。
源节点
指的是数据任务中,任意两个相邻连接的节点中,位置处于源头/生出连线的节点。
目标节点
指的是数据任务中,任意两个相邻连接的节点中,位置处于目标/被连接指向的节点。
共享挖掘
指增量日志的共享,当开启功能后,共享挖掘会挖掘增量日志,当多个增量任务都从同一个源获取增量日志时不需要重复开启日志采集进程,能极大缓解源库资源的占用和浪费
共享缓存
指将表中部分常用数据存放到缓存中供不同任务进行调用及处理,不用再从源端获取数据从而提高效率。
初始化
数据迁移或同步的任务中,对数据源节点已存在的数据进行迁移或同步的模式。
TapData Agent
是指运行同步任务的执行程序,负责从管理端获取任务、连接源数据源、执行数据转换、输出到目标数据源。
TCM 管理端
TapData Cloud 理控制台,让用户可以自主定义编排同步任务,并下发同步任务给到同步实例。
Schema
源和目标数据连接模型。
Database name
源和目标数据库的连接名称。