Перейти к основному содержанию
Estuary — это платформа для своевременной обработки данных, которая гибко сочетает данные реального времени и пакетные данные в ETL-конвейерах с простой настройкой. Благодаря безопасности корпоративного класса и гибким вариантам развертывания Estuary обеспечивает надежные потоки данных из SaaS, баз данных и потоковых источников в различные пункты назначения, включая ClickHouse. Estuary подключается к ClickHouse через Kafka ClickPipe. С этой интеграцией вам не нужно поддерживать собственную экосистему Kafka.

​
Руководство по настройке

Предварительные требования
  • Учетная запись Estuary
  • Один или несколько capture в Estuary, которые получают данные из нужных вам источников
  • Учетная запись ClickHouse Cloud с разрешениями на работу с ClickPipe
1

​
Создайте materialization в Estuary

Чтобы передавать данные из исходных collection в Estuary в ClickHouse, сначала нужно создать materialization.
  1. В панели мониторинга Estuary перейдите на страницу Destinations.
  2. Нажмите + New Materialization.
  3. Выберите коннектор ClickHouse.
  4. Заполните данные в разделах Materialization, Endpoint и Source Collections:
    • Materialization Details: укажите уникальное имя для вашей materialization и выберите data plane (облачного провайдера и регион)
    • Endpoint Config: укажите защищенный Auth Token
    • Source Collections: привяжите существующий capture или выберите collection данных, которые нужно предоставить ClickHouse
  5. Нажмите Next, а затем Save and Publish.
  6. На странице сведений о materialization запишите полное имя вашей materialization ClickHouse. Оно будет выглядеть примерно так: your-tenant/your-unique-name/dekaf-clickhouse.
Estuary начнет передавать выбранные collection в виде сообщений Kafka. ClickHouse сможет получать доступ к этим данным через Kafka ClickPipe, используя сведения о брокере Estuary и указанный вами токен аутентификации.
2

​
Введите сведения о подключении Kafka

Настройте новый Kafka ClickPipe в ClickHouse и введите сведения о подключении:
  1. В панели мониторинга ClickHouse Cloud выберите Data sources.
  2. Создайте новый ClickPipe.
  3. Выберите Apache Kafka в качестве источника данных.
  4. Введите сведения о подключении Kafka, используя данные брокера и registry из Estuary:
    • Укажите имя для вашего ClickPipe
    • Для брокера используйте: dekaf.estuary-data.com:9092
    • Оставьте аутентификацию со значением по умолчанию SASL/PLAIN
    • В поле пользователя введите полное имя вашей materialization из Estuary (например, your-tenant/your-unique-name/dekaf-clickhouse)
    • В поле пароля введите токен аутентификации, который вы указали для своей materialization
  5. Включите параметр schema registry
    • Для URL схемы используйте: https://dekaf.estuary-data.com
    • Ключ схемы будет таким же, как пользователь брокера (имя вашей materialization)
    • Секрет будет таким же, как пароль брокера (ваш токен аутентификации)
3

​
Настройте входящие данные

  1. Выберите один из ваших Kafka топиков (одну из ваших collection данных из Estuary).
  2. Выберите offset.
  3. ClickHouse обнаружит сообщения топика. После этого можно перейти к разделу Parse information, чтобы настроить сведения о таблице.
  4. Выберите создание новой таблицы или загрузку данных в подходящую существующую таблицу.
  5. Сопоставьте поля источника со столбцами таблицы, проверив имя столбца, тип и возможность значения NULL.
  6. В заключительном разделе Details and settings можно выбрать разрешения для выделенного пользователя базы данных.
Когда конфигурация вас устроит, создайте ClickPipe.ClickHouse подготовит новый источник данных и начнет читать сообщения из Estuary. Создайте столько ClickPipes, сколько нужно, чтобы организовать стриминг из всех нужных collection данных.

​
Дополнительные ресурсы

Подробнее о настройке интеграции с Estuary см. в документации Estuary:
Последнее изменение 19 июня 2026 г.