• Plano de Aula

🧭 Objetivo da Aula

Construir um ETL observável que:

• Lê um CSV do MinIO.
• Transforma cada linha em JSON com campos: unix_time, data_value, data_tag.
• Insere no ClickHouse.
• Coleta métricas, logs e traces com OpenTelemetry.
• Expõe dados para Prometheus + Grafana + Loki.
• Roda dentro de um DAG do Airflow.

📚 PARTE 1: O QUE SÃO MÉTRICAS E TELEMETRIA?

🔍 Definições

• Métricas: Valores numéricos que medem o comportamento do sistema ao longo do tempo.

  Ex: total_de_linhas_processadas, latência_em_segundos.

O QUE SÃO MÉTRICAS?

• Logs: Registros textuais (estruturados ou não) de eventos que aconteceram.

  Ex: INFO: Arquivo sensor_2024.csv baixado com sucesso.

O QUE SÃO LOGS?

• Traces: Rastreamento da execução de uma requisição/fluxo entre componentes.

  Ex: download_csv → transform → insert_clickhouse.

O QUE SÃO TRACES?

Juntos, formam os “Três Pilares da Observabilidade”.