Conectar Apache NiFi a ClickHouse

​

Recopila los datos de conexión

​

Descargar y ejecutar Apache NiFi

​

Descargar el controlador JDBC de ClickHouse

1. Ve a la página de versiones del controlador JDBC de ClickHouse en GitHub y busca la versión más reciente
2. En esa versión, haz clic en “Show all xx assets” y busca el archivo JAR que contenga la palabra clave “shaded” o “all”, por ejemplo, clickhouse-jdbc-0.5.0-all.jar
3. Coloca el archivo JAR en una carpeta a la que Apache NiFi pueda acceder y toma nota de la ruta absoluta

​

Agregue el servicio de controlador DBCPConnectionPool y configure sus propiedades

1. Para configurar un servicio de controlador en Apache NiFi, vaya a la página de configuración del flujo de NiFi haciendo clic en el botón de “engranaje”
2. Seleccione la pestaña Controller Services y agregue un nuevo servicio de controlador haciendo clic en el botón + de la esquina superior derecha
3. Busque DBCPConnectionPool y haga clic en el botón “Add”
4. El DBCPConnectionPool recién agregado estará en estado no válido de forma predeterminada. Haga clic en el botón de “engranaje” para comenzar a configurarlo
5. En la sección “Properties”, introduzca los siguientes valores

6. En la sección Settings, cambie el nombre del servicio de controlador a “ClickHouse JDBC” para poder identificarlo fácilmente
7. Active el servicio de controlador DBCPConnectionPool haciendo clic en el botón de “rayo” y luego en el botón “Enable”
   
8. Revise la pestaña Controller Services y asegúrese de que el servicio de controlador esté habilitado

​

Leer datos de una tabla con el procesador ExecuteSQL

1. Añade un procesador ​ExecuteSQL, junto con los procesadores upstream y downstream correspondientes
2. En la sección “Properties” del procesador ​ExecuteSQL, introduce los siguientes valores

   Propiedad	Valor	Observación
   Database Connection Pooling Service	ClickHouse JDBC	Selecciona el Controller Service configurado para ClickHouse
   SQL select query	SELECT * FROM system.metrics	Introduce aquí tu consulta

3. Inicia el procesador ​​ExecuteSQL
4. Para confirmar que la consulta se ha procesado correctamente, inspecciona uno de los FlowFile de la cola de salida
5. Cambia a la vista “formatted” para ver el resultado del FlowFile de salida

​

Escribir en una tabla con el procesador MergeRecord y PutDatabaseRecord

1. Para escribir varias filas en una sola inserción, primero debemos fusionar varios registros en uno solo. Esto puede hacerse con el procesador MergeRecord
2. En la sección “Properties” del procesador MergeRecord, introduzca los siguientes valores

   Property	Value	Remark
   Record Reader	JSONTreeReader	Seleccione el lector de registros adecuado
   Record Writer	JSONReadSetWriter	Seleccione el escritor de registros adecuado
   Minimum Number of Records	1000	Cámbielo por un número mayor para que se fusionen suficientes filas y formen un único registro. El valor predeterminado es 1 fila
   Maximum Number of Records	10000	Cámbielo por un número mayor que “Minimum Number of Records”. El valor predeterminado es 1000 filas

3. Para confirmar que varios registros se fusionan en uno, examine la entrada y la salida del procesador MergeRecord. Tenga en cuenta que la salida es un array con varios registros de entrada Entrada Salida
4. En la sección “Properties” del procesador PutDatabaseRecord, introduzca los siguientes valores

   Property	Value	Remark
   Record Reader	JSONTreeReader	Seleccione el lector de registros adecuado
   Database Type	Generic	Déjelo con el valor predeterminado
   Statement Type	INSERT
   Database Connection Pooling Service	ClickHouse JDBC	Seleccione el servicio controlador de ClickHouse
   Table Name	tbl	Introduzca aquí el nombre de su tabla
   Translate Field Names	false	Establézcalo en “false” para que los nombres de los campos insertados coincidan con el nombre de la columna
   Maximum Batch Size	1000	Número máximo de filas por inserción. Este valor no debe ser inferior al valor de “Minimum Number of Records” del procesador MergeRecord

5. Para confirmar que cada inserción contiene varias filas, compruebe que el conteo de filas de la tabla aumenta al menos en el valor de “Minimum Number of Records” definido en MergeRecord.
6. Enhorabuena: ha cargado correctamente sus datos en ClickHouse con Apache NiFi!