跳到主要内容
版本:3.x

TapFlow 介绍

适用版本Cloud 功能TapData Cloud 为您提供了云端服务,适合需要快速部署、低前期投资场景,帮助您更好地专注于业务发展而非基础设施管理,注册账号即可领取免费的 Agent 实例,欢迎试用。企业版功能TapData Enterprise 可部署在您的本地数据中心,适合对数据敏感性或网络隔离有严格要求的场景,可服务于构建实时数仓,实现实时数据交换,数据迁移等场景。

TapFlow 是 TapData 实时数据平台 API 开发框架。除了通过图形化界面使用 TapData 产品外,您还可以通过 TapFlow 提供的丰富 API 和命令行工具(Tap Shell),快速实现同构或异构数据源的实时复制及开发任务,满足灵活、自动化的数据集成和流式处理场景,例如构建实时宽表、实时物化视图等。

工作原理

TapFlow 工作原理

TapFlow 典型应用场景如上,数据处理流程主要包括以下步骤:

  • 数据采集:通过 Tap CDC 连接并监控数据源中的更新事件(如新增、更新、删除操作),并将其转化为数据流。
  • 数据流处理:支持用户使用 API 或图形化界面对数据流进行实时处理,包括数据的合并、清洗、转换等复杂操作。
  • 数据存储或输出:将处理后的数据流保存到物化视图中,以支持快速查询和应用服务;或者直接将数据流发送至下游数据库或消息队列(如 Kafka)中,实现数据的快速传递。