Esta guía proporciona a los equipos empresariales que evalúan ClickHouse Cloud información exhaustiva sobre las capacidades de monitorización y observabilidad para implementaciones de producción. Los clientes empresariales suelen preguntar por las funciones de monitorización listas para usar, la integración con las pilas de observabilidad existentes, incluidas herramientas como Datadog y AWS CloudWatch, y cómo se compara la monitorización de ClickHouse con las implementaciones autogestionadas.
Dashboard avanzado de observabilidad
ClickHouse Cloud proporciona una supervisión integral mediante interfaces de dashboard integradas accesibles desde la sección monitorización. Estos dashboards visualizan métricas del sistema y de rendimiento en tiempo real sin necesidad de configuración adicional y son las herramientas principales para la monitorización de producción en tiempo real dentro de ClickHouse Cloud.
- Advanced Dashboard: La interfaz principal del dashboard, accesible desde monitorización → Advanced dashboard, proporciona visibilidad en tiempo real de la tasa de consultas, el uso de recursos, el estado del sistema y el rendimiento del almacenamiento. Este dashboard no requiere autenticación independiente, no impedirá que las instancias entren en estado inactivo y no añade carga de consultas a su sistema de producción. Cada visualización se basa en consultas SQL personalizables, con gráficos predefinidos agrupados en métricas específicas de ClickHouse, de estado del sistema y específicas de Cloud. Puede ampliar la supervisión creando consultas personalizadas directamente en la SQL Console.
Acceder a estas métricas no ejecuta ninguna consulta en el servicio subyacente ni reactivará servicios inactivos.
Los usuarios que deseen ampliar estas visualizaciones pueden usar la funcionalidad de dashboards de ClickHouse Cloud y consultar directamente las tablas del sistema.
- Dashboard avanzado nativo: Una interfaz de dashboard alternativa accesible a través de “You can still access the native advanced dashboard” dentro de la sección monitorización. Se abre en una pestaña independiente con autenticación y proporciona una UI alternativa para supervisar el estado del sistema y del servicio. Este dashboard permite análisis avanzados, ya que puede modificar las consultas SQL subyacentes.
Ambos dashboards ofrecen visibilidad inmediata del estado y del rendimiento del servicio sin dependencias externas, lo que los diferencia de herramientas externas centradas en la depuración como ClickStack.
Para obtener información detallada sobre las funciones del dashboard y las métricas disponibles, consulte la documentación del dashboard avanzado.
Query Insights y monitorización de recursos
ClickHouse Cloud incluye capacidades adicionales de monitorización:
- Query Insights: interfaz integrada para analizar el rendimiento de las consultas y solucionar problemas
- Resource Utilization Dashboard: realiza un seguimiento del uso de memoria, la asignación de CPU y los patrones de transferencia de datos. Los gráficos de uso de CPU y de memoria muestran la métrica de utilización máxima en un periodo de tiempo determinado. El gráfico de uso de CPU muestra una métrica de utilización de CPU a nivel del sistema (NO una métrica de utilización de CPU de ClickHouse).
Consulta la documentación de Query Insights y utilización de recursos para obtener información detallada sobre estas funciones.
Endpoint de métricas compatible con Prometheus
ClickHouse Cloud proporciona un endpoint de Prometheus. Esto le permite mantener los flujos de trabajo actuales, aprovechar la experiencia existente del equipo e integrar las métricas de ClickHouse en plataformas empresariales de monitorización, como Grafana, Datadog y otras herramientas compatibles con Prometheus.
El endpoint a nivel de organización federa las métricas de todos los servicios, mientras que los endpoints por servicio ofrecen una monitorización más granular. Entre sus características principales se incluyen:
- Opción de métricas filtradas: el parámetro opcional filtered_metrics=true reduce el payload de más de 1000 métricas disponibles a 125 métricas “de misión crítica”, lo que optimiza los costos y facilita una monitorización más centrada
- Entrega de métricas en caché: utiliza vistas materializadas que se actualizan cada minuto para minimizar la carga de consultas en los sistemas de producción
Este enfoque respeta el comportamiento de inactividad del servicio, lo que permite optimizar los costos cuando los servicios no están procesando consultas activamente. Este endpoint de API utiliza credenciales de la ClickHouse Cloud API. Para obtener todos los detalles sobre la configuración del endpoint, consulte la documentación de Prometheus de ClickHouse Cloud.
La integración externa permite a las organizaciones mantener flujos de trabajo de monitoreo ya establecidos, aprovechar la experiencia existente de los equipos con herramientas conocidas e integrar el monitoreo de ClickHouse con la observabilidad más amplia de la infraestructura sin interrumpir los procesos actuales ni requerir inversiones significativas en capacitación adicional.
Los equipos pueden aplicar las reglas de alertas y los procedimientos de escalado existentes a las métricas de ClickHouse, al tiempo que correlacionan el rendimiento de la base de datos con el estado de la aplicación y de la infraestructura dentro de una plataforma de observabilidad unificada. Este enfoque maximiza el ROI de los sistemas actuales de monitoreo y permite resolver problemas con mayor rapidez mediante dashboards consolidados e interfaces de herramientas conocidas.
Monitorización con Grafana Cloud
Grafana ofrece monitorización de ClickHouse tanto mediante la integración directa del plugin como a través de enfoques basados en Prometheus. La integración del endpoint de Prometheus mantiene la separación operativa entre la monitorización y las cargas de trabajo de producción, a la vez que permite la visualización dentro de la infraestructura existente de Grafana Cloud. Consulta la documentación de ClickHouse de Grafana para obtener instrucciones de configuración.
Datadog está desarrollando una integración específica de API que proporcionará una supervisión adecuada del servicio en la nube, respetando al mismo tiempo el comportamiento de idling del servicio. Mientras tanto, los equipos pueden usar el enfoque de integración con OpenMetrics a través de los endpoints de Prometheus de ClickHouse para mantener la separación operativa y una supervisión rentable. Para obtener orientación sobre la configuración, consulta la documentación de Datadog sobre la integración de Prometheus y OpenMetrics.
ClickStack es la solución de observabilidad recomendada por ClickHouse para el análisis profundo y la depuración del sistema, y ofrece una plataforma unificada para logs, métricas y trazas que utiliza ClickHouse como motor de almacenamiento. Este enfoque se basa en HyperDX, la UI de ClickStack, que se conecta directamente a las tablas del sistema de su instancia de ClickHouse.
HyperDX incluye un dashboard centrado en ClickHouse con pestañas para Selects, Inserts e Infrastructure. Los equipos también pueden usar sintaxis Lucene o SQL para buscar en las tablas del sistema y los logs, así como crear visualizaciones personalizadas mediante Chart Explorer para un análisis detallado del sistema.
Este enfoque es ideal para depurar problemas complejos, analizar el rendimiento y realizar una introspección profunda del sistema, más que para alertas de producción en tiempo real.
Tenga en cuenta que este enfoque activará servicios inactivos, ya que HyperDX consulta directamente las tablas del sistema.
Opciones de implementación de ClickStack
- HyperDX en ClickHouse Cloud (vista previa privada): HyperDX puede ejecutarse en cualquier servicio de ClickHouse Cloud.
- Helm: Recomendado para entornos de depuración basados en Kubernetes. Admite la integración con ClickHouse Cloud y permite una configuración específica del entorno, límites de recursos y escalado mediante
values.yaml.
- Docker Compose: Implementa cada componente (ClickHouse, HyperDX, OTel collector, MongoDB) por separado. Puede modificar el archivo de Compose para eliminar los componentes que no se utilicen al integrarlo con ClickHouse Cloud, concretamente ClickHouse y el OpenTelemetry Collector.
- Solo HyperDX: Contenedor independiente de HyperDX.
Para consultar todas las opciones de implementación y los detalles de la arquitectura, vea la documentación de ClickStack y la guía de ingestión de datos.
También puede recopilar métricas desde el endpoint de Prometheus de ClickHouse Cloud mediante un OpenTelemetry Collector y reenviarlas a una implementación independiente de ClickStack para su visualización.
Integración directa del plugin de Grafana
El plugin de fuente de datos de ClickHouse para Grafana permite visualizar y explorar datos directamente desde ClickHouse mediante las tablas del sistema. Este enfoque resulta útil para monitorizar el rendimiento y crear dashboards personalizados para un análisis detallado del sistema.
Para obtener información sobre la instalación y configuración del plugin, consulte el plugin de fuente de datos de ClickHouse. Para una configuración de monitorización completa con el mix-in de Prometheus-Grafana, dashboards preconfigurados y reglas de alerta, consulte Supervise ClickHouse con el nuevo mix-in de Prometheus-Grafana.
Integración directa con Datadog
Datadog ofrece un plugin de Monitoring de ClickHouse para su agente que consulta directamente las tablas del sistema. Esta integración proporciona una supervisión integral de la base de datos con reconocimiento del clúster mediante la funcionalidad clusterAllReplicas.
Esta integración no se recomienda para implementaciones de ClickHouse Cloud debido a su incompatibilidad con el comportamiento de inactividad orientado a optimizar costes y a las limitaciones operativas de la capa de proxy de Cloud.
Uso directo de las tablas del sistema
Puede realizar un análisis exhaustivo del rendimiento de las consultas conectándose directamente a las tablas del sistema de ClickHouse, en particular a system.query_log, y consultándolas de forma directa. Con la consola SQL o clickhouse client, los equipos pueden identificar consultas lentas, analizar el consumo de recursos y seguir los patrones de uso en toda la organización.
Análisis del rendimiento de las consultas
Puede usar los logs de consultas de las tablas del sistema para realizar análisis del rendimiento de las consultas.
Consulta de ejemplo: encuentre las 5 consultas de mayor duración en todas las réplicas del clúster:
La comunidad de ClickHouse ha desarrollado soluciones integrales de monitorización que se integran con stacks de observabilidad populares. ClickHouse Monitoring proporciona una configuración completa de monitorización con dashboards preconfigurados. Este proyecto de código abierto ofrece una forma rápida de empezar para los equipos que buscan implementar la monitorización de ClickHouse con prácticas recomendadas consolidadas y configuraciones de dashboards ya probadas.
Al igual que otros enfoques de monitorización directa de bases de datos, esta solución consulta directamente las tablas del sistema de ClickHouse, lo que impide que las instancias queden inactivas y afecta a la optimización de costes.
Consideraciones sobre el impacto en el sistema
Todos los enfoques anteriores se basan en una combinación de endpoints de Prometheus, gestión por parte de ClickHouse Cloud o consulta directa de tablas del sistema.
La última de estas opciones depende de consultar el servicio de ClickHouse en producción. Esto añade carga de consultas al sistema observado y evita que las instancias de ClickHouse Cloud queden inactivas, lo que afecta a la optimización de costos. Además, si el sistema de producción falla, la monitorización también puede verse afectada, ya que ambos están acoplados. Este enfoque funciona bien para la introspección profunda y la depuración, pero es menos adecuado para la monitorización de producción en tiempo real. Tenga en cuenta estas contrapartidas entre las capacidades detalladas de análisis del sistema y la sobrecarga operativa al evaluar la integración directa con Grafana frente a los enfoques de integración con herramientas externas analizados en la siguiente sección.