Мониторинг Kafka: consumer lag, throughput, Prometheus

Мониторинг Kafka: consumer lag, throughput, Prometheus

Kafka без мониторинга - это взрывное устройство с неизвестным таймером. Consumer отстал на миллион сообщений, а ты узнаёшь об этом от пользователей.

Главная метрика - consumer lag: разница между latest offset и committed offset. Растущий lag = consumer не успевает.

Consumer Lag через CLI

# Текущий lag всех consumer groups
docker exec kafka kafka-consumer-groups \
  --bootstrap-server localhost:9092 \
  --list

# Детали конкретной группы
docker exec kafka kafka-consumer-groups \
  --bootstrap-server localhost:9092 \
  --describe \
  --group analytics

# Вывод:
# GROUP     TOPIC          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG  CONSUMER-ID
# analytics lesson-events  0          1000            1050            50   analytics-1@host
# analytics lesson-events  1          800             800             0    analytics-2@host
# analytics lesson-events  2          600             650             50   analytics-2@host

Lag 0 - consumer в реальном времени. Lag растёт - нужно масштабировать или оптимизировать.

franz-go Metrics Hook

franz-go предоставляет kgo.Hook для кастомных метрик:

type kafkaMetrics struct {
    producerErrors prometheus.Counter
    producerBytes  prometheus.Counter
    fetchedRecords prometheus.Counter
}

func newKafkaMetrics(reg prometheus.Registerer) *kafkaMetrics {
    m := &kafkaMetrics{
        producerErrors: prometheus.NewCounter(prometheus.CounterOpts{
            Name: "kafka_producer_errors_total",
            Help: "Total Kafka producer errors",
        }),
        producerBytes: prometheus.NewCounter(prometheus.CounterOpts{
            Name: "kafka_producer_bytes_total",
            Help: "Total bytes of successfully produced record values",
        }),
        // Только растёт - значит Counter с суффиксом _total. Скорость
        // («сколько в секунду») считает PromQL: rate(...[5m]).
        fetchedRecords: prometheus.NewCounter(prometheus.CounterOpts{
            Name: "kafka_consumer_fetched_records_total",
            Help: "Total records fetched by the consumer",
        }),
    }
    reg.MustRegister(m.producerErrors, m.producerBytes, m.fetchedRecords)
    return m
}

// Реализуем kgo.HookProduceRecordUnbuffered
func (m *kafkaMetrics) OnProduceRecordUnbuffered(r *kgo.Record, err error) {
    if err != nil {
        m.producerErrors.Inc()
    } else {
        m.producerBytes.Add(float64(len(r.Value)))
    }
}

// Реализуем kgo.HookFetchRecordUnbuffered
func (m *kafkaMetrics) OnFetchRecordUnbuffered(r *kgo.Record, _ bool) {
    m.fetchedRecords.Inc()
}

Lag в этом хуке не посчитать: клиент знает, что прочитал, но не знает конца лога по всем партициям группы. Lag берут из kafka-exporter (ниже) или считают отдельно через kadm.Client.Lag по таймеру.

metrics := newKafkaMetrics(prometheus.DefaultRegisterer)

client, _ := kgo.NewClient(
    kgo.SeedBrokers("localhost:9092"),
    kgo.WithHooks(metrics), // подключаем hook
)

Готовый плагин: kprom

import "github.com/twmb/franz-go/plugin/kprom"

metrics := kprom.NewMetrics("kafka",
    kprom.GoCollectors(), // метрики Go runtime и процесса
    // По умолчанию считаются только байты; добавляем число записей
    kprom.FetchAndProduceDetail(kprom.ByNode, kprom.ByTopic, kprom.UncompressedBytes, kprom.Records),
)

client, _ := kgo.NewClient(
    kgo.SeedBrokers("localhost:9092"),
    kgo.WithHooks(metrics),
)

// kprom по умолчанию пишет в СВОЙ реестр, а не в prometheus.DefaultRegisterer:
// отдаём его отдельным handler-ом (или передай kprom.Registerer(...) и
// kprom.Gatherer(...), чтобы метрики попали в общий реестр приложения)
http.Handle("/metrics", metrics.Handler())

kprom регистрирует набор метрик с префиксом kafka_:

  • kafka_produce_bytes_total, kafka_fetch_bytes_total - байты (по умолчанию)
  • kafka_produce_records_total, kafka_fetch_records_total - записи (с деталью kprom.Records, как выше)
  • kafka_write_errors_total, kafka_read_errors_total - ошибки записи и чтения на уровне соединений с брокерами
  • Latency гистограммы

Метрики «ошибка отправки записи» в kprom нет: её дают свой счётчик в OnProduceRecordUnbuffered, как в хуке выше.

Consumer Lag в Prometheus

Kafka не экспортирует consumer lag напрямую в Prometheus. Нужен экспортер.

kafka-exporter (простой вариант):

# docker-compose.yml
  kafka-exporter:
    image: danielqsj/kafka-exporter:v1.9.0
    command: --kafka.server=kafka:29092   # INTERNAL listener из урока про Kafka в Compose
    ports:
      - "9308:9308"
    depends_on:
      - kafka

Метрики доступны на http://localhost:9308/metrics:

# Consumer group lag
kafka_consumergroup_lag{consumergroup="analytics",partition="0",topic="lesson-events"} 50
kafka_consumergroup_lag{consumergroup="analytics",partition="1",topic="lesson-events"} 0

# Топик размер
kafka_topic_partition_current_offset{partition="0",topic="lesson-events"} 1050

# Сколько реплик партиции выпало из ISR (> 0 - реплик меньше, чем replication factor, угроза потери данных)
kafka_topic_partition_under_replicated_partition{partition="0",topic="lesson-events"} 0

Prometheus конфиг:

scrape_configs:
  - job_name: 'kafka-exporter'
    static_configs:
      - targets: ['kafka-exporter:9308']
  - job_name: 'app'
    static_configs:
      - targets: ['app:8080']  # /metrics с kprom

Alerting Rules

# prometheus/alerts.yml
groups:
  - name: kafka
    rules:
      # Lag растёт больше 5 минут подряд.
      # kafka_consumergroup_lag - gauge, а rate() работает только с counter-ами
      # (любое уменьшение gauge он примет за сброс счётчика). Для наклона
      # gauge есть deriv(); сумму по партициям берём через subquery.
      - alert: KafkaConsumerLagGrowing
        expr: |
          deriv((sum by (consumergroup, topic) (kafka_consumergroup_lag))[10m:1m]) > 0
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "Consumer lag growing for {{ $labels.consumergroup }}"

      # Lag превысил абсолютный порог (SLA = обработать за 60 секунд)
      - alert: KafkaConsumerLagHigh
        expr: kafka_consumergroup_lag > 10000
        for: 2m
        labels:
          severity: critical
        annotations:
          summary: "High consumer lag: {{ $value }} messages behind"

      # Producer ошибки
      - alert: KafkaProducerErrors
        expr: rate(kafka_producer_errors_total[5m]) > 0
        labels:
          severity: warning

kafka-ui: web-интерфейс

kafka-ui (kafbat, поддерживаемый форк provectuslabs) - удобная альтернатива CLI для ежедневного мониторинга:

  kafka-ui:
    image: ghcr.io/kafbat/kafka-ui:v1.4.2
    ports:
      - "8090:8080"
    environment:
      KAFKA_CLUSTERS_0_NAME: local
      KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS: kafka:29092
      KAFKA_CLUSTERS_0_KAFKACONNECT_0_NAME: debezium
      KAFKA_CLUSTERS_0_KAFKACONNECT_0_ADDRESS: http://connect:8083

В kafka-ui видно:

  • Топики: размер, партиции, retention
  • Consumer Groups: lag per partition, last committed offset
  • Messages: просмотр сообщений, поиск по ключу
  • Kafka Connect: статус коннекторов

В docker-compose финального проекта трека kafka-ui уже есть (порт 8090): удобно убедиться, что событие реально дошло до топика и что consumer group его вычитала, не открывая CLI.

Метрики JMX (для производственного кластера)

Kafka нативно экспортирует метрики через JMX. JMX Exporter конвертирует их в Prometheus:

  kafka:
    image: confluentinc/cp-kafka:8.0.0
    environment:
      KAFKA_JMX_PORT: 9999
      KAFKA_JMX_HOSTNAME: kafka
      EXTRA_ARGS: -javaagent:/opt/jmx-exporter.jar=7071:/etc/jmx-exporter.yml

JMX даёт детальные метрики брокера: ISR shrink rate, under-replicated partitions, request rate per type.

Типичная ошибка

Не мониторить lag - consumer отстаёт неделями, и команда узнаёт об этом, когда retention удаляет ещё не прочитанные сегменты. Retention в Kafka не зависит от consumer-ов: сегменты удаляются по времени или размеру, даже если их никто не прочитал. Offset группы оказывается за началом лога, consumer перескакивает по auto.offset.reset, и часть событий потеряна безвозвратно. Алерт на lag обязателен. Какие ещё сигналы держать под наблюдением в event-driven системе - outbox pending, error rate, p99 обработки, возраст сообщений в DLQ - и с какими порогами, разобрано в уроке наблюдаемость event-driven.

Не мониторить replication slot lag (CDC) - если используешь Debezium и slot лагает, PostgreSQL не может вычистить WAL. Диск переполняется за часы при высокой нагрузке записи.

Смотри также

Мини-задание

  • Добавь kafka-exporter и kafka-ui в docker-compose, проверь метрики на /metrics
  • Отправь 1000 событий через producer, запусти медленный consumer (sleep 10ms per record) - наблюдай как растёт lag в kafka-ui
  • Подключи kprom к своему producer, добавь /metrics endpoint, проверь метрики в Prometheus
  • Напиши alert rule на lag > 1000 и проверь что Prometheus его поднимает при имитации отставания
  • Найди через kafka-consumer-groups --describe какой partition имеет наибольший lag

Зарегистрируйтесь бесплатно, чтобы пройти квиз, вести прогресс.