跳转到主要内容
BladePipe 是一款实时端到端数据集成工具，具备亚秒级时延，可实现跨平台间的无缝数据流转。 ClickHouse 是 BladePipe 的预置连接器之一，用户可以通过它自动将来自各种数据源的数据集成到 ClickHouse 中。本页将分步介绍如何将数据实时加载到 ClickHouse。

​
支持的数据源

目前，BladePipe 支持从以下数据源将数据集成至 ClickHouse：
  • MySQL/MariaDB/AuroraMySQL
  • Oracle
  • PostgreSQL/AuroraPostgreSQL
  • MongoDB
  • Kafka
  • PolarDB-MySQL
  • OceanBase
  • TiDB
后续还将支持更多数据源。
1

​
下载并运行 BladePipe

  1. 登录 BladePipe Cloud。
  2. 按照 安装 Worker (Docker) 或 安装 Worker (二进制) 中的说明，下载并安装 BladePipe Worker。
您也可以选择下载并部署 BladePipe Enterprise。
2

​
将 ClickHouse 添加为目标

  1. BladePipe 支持 ClickHouse 20.12.3.3 及以上版本。
  2. 若要将 ClickHouse 用作目标，请确保该用户具有 SELECT、INSERT 和常见 DDL 权限。
  1. 在 BladePipe 中，点击 “DataSource” > “Add DataSource”。
  2. 选择 ClickHouse，然后填写相关设置，包括 ClickHouse 的主机和端口、用户名和密码，并点击 “Test Connection”。
  3. 点击底部的 “Add DataSource”，即可添加一个 ClickHouse 实例。
3

​
将 MySQL 添加为源

在本教程中，我们将使用 MySQL 实例作为源，并介绍将 MySQL 数据加载到 ClickHouse 的过程。
要使用 MySQL 作为源，请确保该用户具有所需权限。
  1. 在 BladePipe 中，点击 “DataSource” > “Add DataSource”。
  2. 选择 MySQL，然后填写相关设置，输入 MySQL 主机和端口、用户名和密码，再点击 “Test Connection”。
  3. 点击底部的 “Add DataSource”，即可添加 MySQL 实例。
4

​
创建管道

  1. 在 BladePipe 中，点击 “DataJob” > “Create DataJob”。
  2. 选择已添加的 MySQL 和 ClickHouse 实例，点击 “Test Connection”，确认 BladePipe 已连接到这些实例。然后，选择要迁移的数据库。
  3. 在 DataJob Type 中选择 “Incremental”，同时勾选 “Full Data” 选项。
  4. 选择要复制的表。
  5. 选择要复制的列。
  6. 确认创建 DataJob 后，DataJob 会自动运行。
5

​
验证数据

  1. 停止向 MySQL 实例写入数据，并等待 ClickHouse 完成数据合并。
由于 ClickHouse 自动合并的时机不可预测，你可以手动运行 OPTIMIZE TABLE xxx FINAL; 命令来触发一次合并。请注意，这种手动合并并不一定每次都能成功。或者，你也可以运行 CREATE VIEW xxx_v AS SELECT * FROM xxx FINAL; 命令创建一个视图，并在该视图上执行查询，以确保数据已完全合并。
  1. 创建一个 验证 DataJob。验证 DataJob 完成后，请检查结果，确认 ClickHouse 中的数据与 MySQL 中的数据一致。
最后修改于 2026年6月19日