跳到主要内容
版本:3.x

BigQuery

适用版本Cloud 功能TapData Cloud 为您提供了云端服务,适合需要快速部署、低前期投资场景,帮助您更好地专注于业务发展而非基础设施管理,注册账号即可领取免费的 Agent 实例,欢迎试用。企业版功能TapData Enterprise 可部署在您的本地数据中心,适合对数据敏感性或网络隔离有严格要求的场景,可服务于构建实时数仓,实现实时数据交换,数据迁移等场景。社区版功能TapData Community 是一个开源的数据集成平台,提供基础的数据同步和转换功能,可通过 Docker 一键部署,帮助您快速探索和实施数据集成项目。随着项目或企业发展,您可以平滑升级至 TapData Cloud 或 TapData Enterprise,以获得更多高级功能或服务支持。

BigQuery 是 Google Cloud 的全代管式 PB 级经济实惠的分析数据仓库,可让您近乎实时地分析大量数据。完成 Agent 部署后,您可以跟随本文教程在 Tapdata 中添加 BigQuery 数据源,后续可将其作为目标库来构建数据管道。

前提条件

引擎所属机器可访问谷歌云服务。

准备工作

  1. 登录 Google Cloud 的角色页面,创建角色,该角色将包含 Tapdata 操作 BigQuery 所必须的权限。

    1. 单击创建角色

    2. 在跳转到的页面,填写角色名称,然后单击添加权限

    3. 在弹出的对话框中,依次搜索并授予下述权限。

      最小权限列表(单击展开)
      bigquery.datasets.create
      bigquery.datasets.get
      bigquery.datasets.update
      bigquery.jobs.create
      bigquery.jobs.get
      bigquery.jobs.list
      bigquery.jobs.listAll
      bigquery.jobs.delete
      bigquery.jobs.update
      bigquery.routines.list
      bigquery.routines.get
      bigquery.tables.create
      bigquery.tables.delete
      bigquery.tables.get
      bigquery.tables.getData
      bigquery.tables.list
      bigquery.tables.setCategory
      bigquery.tables.update
      bigquery.tables.updateData
    4. 权限选择完成后,单击创建

  1. 登录 Google Cloud 的凭据页面,创建服务账号,该账号将用于后续的身份验证。

    1. 在页面顶部,单击创建凭据 > 服务账号

    2. 在服务账号详情区域,填写服务账号的名称、ID 和说明信息,单击创建并继续

      创建访问账号

    3. 角色下拉框中输入并选中我们刚创建的角色(bigquery-role),单击页面底部的完成

      授予权限

  2. 为服务账号创建认证密钥。

    1. 在跳转到的凭据页面,单击页面下方刚创建的服务账号。

    2. 密钥标签页,单击添加密钥 > 创建新密钥

      创建密钥

    3. 在弹出的对话框中,选择密钥类型JSON,然后单击创建

      操作完成后密钥文件将自动下载保存至您的电脑,为保障账户安全性,请妥善保管密钥文件。

    4. 登录 Google Cloud 控制台,创建数据集和表,如已存在可跳过本步骤。

      1. 创建 BigQuery 数据集

        提示

        为保障 Tapdata 正常读取到数据集信息,创建数据集时,选择位置类型多区域

      2. 创建表

添加数据源

  1. 登录 Tapdata 平台

  2. 在左侧导航栏,单击连接管理

  3. 单击页面右侧的创建

  4. 在弹出的对话框中,单击 Beta 数据源,然后选择 BigQuery

  5. 在跳转到的页面,根据下述说明填写 BigQuery 的连接信息。

    配置 BigQuery 连接信息

    • 连接名称:填写具有业务意义的独有名称。
    • 连接类型:目前仅支持作为目标
    • 访问账号(JSON):用文本编辑器打开您在准备工作中下载的密钥文件,将其复制粘贴进该文本框中。
    • 数据集 ID:选择 BigQuery 中已有的数据集。
    • agent 设置:选择平台自动分配,如有多个 Agent,请手动指定可访问谷歌云服务的 Agent。
  6. 单击连接测试,测试通过后单击保存

    提示

    如提示连接测试失败,请根据页面提示进行修复。