Мониторинг Kafka: consumer lag, throughput, Prometheus
Мониторинг Kafka: consumer lag, throughput, Prometheus
Kafka без мониторинга - это взрывное устройство с неизвестным таймером. Consumer отстал на миллион сообщений, а ты узнаёшь об этом от пользователей.
Главная метрика - consumer lag: разница между latest offset и committed offset. Растущий lag = consumer не успевает.
Consumer Lag через CLI
# Текущий lag всех consumer groups
docker exec kafka kafka-consumer-groups \
--bootstrap-server localhost:9092 \
--list
# Детали конкретной группы
docker exec kafka kafka-consumer-groups \
--bootstrap-server localhost:9092 \
--describe \
--group analytics
# Вывод:
# GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID
# analytics lesson-events 0 1000 1050 50 analytics-1@host
# analytics lesson-events 1 800 800 0 analytics-2@host
# analytics lesson-events 2 600 650 50 analytics-2@host
Lag 0 - consumer в реальном времени. Lag растёт - нужно масштабировать или оптимизировать.
franz-go Metrics Hook
franz-go предоставляет kgo.Hook для кастомных метрик:
type kafkaMetrics struct {
producerErrors prometheus.Counter
producerBytes prometheus.Counter
fetchedRecords prometheus.Counter
}
func newKafkaMetrics(reg prometheus.Registerer) *kafkaMetrics {
m := &kafkaMetrics{
producerErrors: prometheus.NewCounter(prometheus.CounterOpts{
Name: "kafka_producer_errors_total",
Help: "Total Kafka producer errors",
}),
producerBytes: prometheus.NewCounter(prometheus.CounterOpts{
Name: "kafka_producer_bytes_total",
Help: "Total bytes of successfully produced record values",
}),
// Только растёт - значит Counter с суффиксом _total. Скорость
// («сколько в секунду») считает PromQL: rate(...[5m]).
fetchedRecords: prometheus.NewCounter(prometheus.CounterOpts{
Name: "kafka_consumer_fetched_records_total",
Help: "Total records fetched by the consumer",
}),
}
reg.MustRegister(m.producerErrors, m.producerBytes, m.fetchedRecords)
return m
}
// Реализуем kgo.HookProduceRecordUnbuffered
func (m *kafkaMetrics) OnProduceRecordUnbuffered(r *kgo.Record, err error) {
if err != nil {
m.producerErrors.Inc()
} else {
m.producerBytes.Add(float64(len(r.Value)))
}
}
// Реализуем kgo.HookFetchRecordUnbuffered
func (m *kafkaMetrics) OnFetchRecordUnbuffered(r *kgo.Record, _ bool) {
m.fetchedRecords.Inc()
}
Lag в этом хуке не посчитать: клиент знает, что прочитал, но не знает конца лога по всем партициям группы. Lag берут из kafka-exporter (ниже) или считают отдельно через kadm.Client.Lag по таймеру.
metrics := newKafkaMetrics(prometheus.DefaultRegisterer)
client, _ := kgo.NewClient(
kgo.SeedBrokers("localhost:9092"),
kgo.WithHooks(metrics), // подключаем hook
)
Готовый плагин: kprom
import "github.com/twmb/franz-go/plugin/kprom"
metrics := kprom.NewMetrics("kafka",
kprom.GoCollectors(), // метрики Go runtime и процесса
// По умолчанию считаются только байты; добавляем число записей
kprom.FetchAndProduceDetail(kprom.ByNode, kprom.ByTopic, kprom.UncompressedBytes, kprom.Records),
)
client, _ := kgo.NewClient(
kgo.SeedBrokers("localhost:9092"),
kgo.WithHooks(metrics),
)
// kprom по умолчанию пишет в СВОЙ реестр, а не в prometheus.DefaultRegisterer:
// отдаём его отдельным handler-ом (или передай kprom.Registerer(...) и
// kprom.Gatherer(...), чтобы метрики попали в общий реестр приложения)
http.Handle("/metrics", metrics.Handler())
kprom регистрирует набор метрик с префиксом kafka_:
kafka_produce_bytes_total,kafka_fetch_bytes_total- байты (по умолчанию)kafka_produce_records_total,kafka_fetch_records_total- записи (с детальюkprom.Records, как выше)kafka_write_errors_total,kafka_read_errors_total- ошибки записи и чтения на уровне соединений с брокерами- Latency гистограммы
Метрики «ошибка отправки записи» в kprom нет: её дают свой счётчик в OnProduceRecordUnbuffered, как в хуке выше.
Consumer Lag в Prometheus
Kafka не экспортирует consumer lag напрямую в Prometheus. Нужен экспортер.
kafka-exporter (простой вариант):
# docker-compose.yml
kafka-exporter:
image: danielqsj/kafka-exporter:v1.9.0
command: --kafka.server=kafka:29092 # INTERNAL listener из урока про Kafka в Compose
ports:
- "9308:9308"
depends_on:
- kafka
Метрики доступны на http://localhost:9308/metrics:
# Consumer group lag
kafka_consumergroup_lag{consumergroup="analytics",partition="0",topic="lesson-events"} 50
kafka_consumergroup_lag{consumergroup="analytics",partition="1",topic="lesson-events"} 0
# Топик размер
kafka_topic_partition_current_offset{partition="0",topic="lesson-events"} 1050
# Сколько реплик партиции выпало из ISR (> 0 - реплик меньше, чем replication factor, угроза потери данных)
kafka_topic_partition_under_replicated_partition{partition="0",topic="lesson-events"} 0
Prometheus конфиг:
scrape_configs:
- job_name: 'kafka-exporter'
static_configs:
- targets: ['kafka-exporter:9308']
- job_name: 'app'
static_configs:
- targets: ['app:8080'] # /metrics с kprom
Alerting Rules
# prometheus/alerts.yml
groups:
- name: kafka
rules:
# Lag растёт больше 5 минут подряд.
# kafka_consumergroup_lag - gauge, а rate() работает только с counter-ами
# (любое уменьшение gauge он примет за сброс счётчика). Для наклона
# gauge есть deriv(); сумму по партициям берём через subquery.
- alert: KafkaConsumerLagGrowing
expr: |
deriv((sum by (consumergroup, topic) (kafka_consumergroup_lag))[10m:1m]) > 0
for: 5m
labels:
severity: warning
annotations:
summary: "Consumer lag growing for {{ $labels.consumergroup }}"
# Lag превысил абсолютный порог (SLA = обработать за 60 секунд)
- alert: KafkaConsumerLagHigh
expr: kafka_consumergroup_lag > 10000
for: 2m
labels:
severity: critical
annotations:
summary: "High consumer lag: {{ $value }} messages behind"
# Producer ошибки
- alert: KafkaProducerErrors
expr: rate(kafka_producer_errors_total[5m]) > 0
labels:
severity: warning
kafka-ui: web-интерфейс
kafka-ui (kafbat, поддерживаемый форк provectuslabs) - удобная альтернатива CLI для ежедневного мониторинга:
kafka-ui:
image: ghcr.io/kafbat/kafka-ui:v1.4.2
ports:
- "8090:8080"
environment:
KAFKA_CLUSTERS_0_NAME: local
KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS: kafka:29092
KAFKA_CLUSTERS_0_KAFKACONNECT_0_NAME: debezium
KAFKA_CLUSTERS_0_KAFKACONNECT_0_ADDRESS: http://connect:8083
В kafka-ui видно:
- Топики: размер, партиции, retention
- Consumer Groups: lag per partition, last committed offset
- Messages: просмотр сообщений, поиск по ключу
- Kafka Connect: статус коннекторов
В docker-compose финального проекта трека kafka-ui уже есть (порт 8090): удобно убедиться, что событие реально дошло до топика и что consumer group его вычитала, не открывая CLI.
Метрики JMX (для производственного кластера)
Kafka нативно экспортирует метрики через JMX. JMX Exporter конвертирует их в Prometheus:
kafka:
image: confluentinc/cp-kafka:8.0.0
environment:
KAFKA_JMX_PORT: 9999
KAFKA_JMX_HOSTNAME: kafka
EXTRA_ARGS: -javaagent:/opt/jmx-exporter.jar=7071:/etc/jmx-exporter.yml
JMX даёт детальные метрики брокера: ISR shrink rate, under-replicated partitions, request rate per type.
Типичная ошибка
Не мониторить lag - consumer отстаёт неделями, и команда узнаёт об этом, когда retention удаляет ещё не прочитанные сегменты. Retention в Kafka не зависит от consumer-ов: сегменты удаляются по времени или размеру, даже если их никто не прочитал. Offset группы оказывается за началом лога, consumer перескакивает по auto.offset.reset, и часть событий потеряна безвозвратно. Алерт на lag обязателен. Какие ещё сигналы держать под наблюдением в event-driven системе - outbox pending, error rate, p99 обработки, возраст сообщений в DLQ - и с какими порогами, разобрано в уроке наблюдаемость event-driven.
Не мониторить replication slot lag (CDC) - если используешь Debezium и slot лагает, PostgreSQL не может вычистить WAL. Диск переполняется за часы при высокой нагрузке записи.
Смотри также
- Observability - Метрики с Prometheus - как устроен Prometheus scraping
- Message Brokers - Consumer - как считать lag программно
- Docker - docker-compose - kafka-exporter и kafka-ui в compose
Мини-задание
- Добавь
kafka-exporterиkafka-uiв docker-compose, проверь метрики на/metrics - Отправь 1000 событий через producer, запусти медленный consumer (sleep 10ms per record) - наблюдай как растёт lag в kafka-ui
- Подключи
kpromк своему producer, добавь/metricsendpoint, проверь метрики в Prometheus - Напиши alert rule на lag > 1000 и проверь что Prometheus его поднимает при имитации отставания
- Найди через
kafka-consumer-groups --describeкакой partition имеет наибольший lag