Prometheus и Grafana: типичные ошибки и как их исправить

Коротко о главном

Prometheus собирает числовые метрики с серверов и приложений, а Grafana показывает их на графиках. Связка стала стандартом для мониторинга: она бесплатна, работает локально и не требует облака. Для домашней лаборатории этого достаточно, чтобы вовремя замечать заполнение диска, рост нагрузки и падение сервисов.

Без метрик администратор узнаёт о проблеме от пользователей. Prometheus хранит историю, позволяет строить запросы и настраивать оповещения, а Grafana делает данные понятными без чтения сырых чисел.

Prometheus и Grafana редко ломается сам по себе. Чаще проблема в неверной конфигурации, устаревшей версии или команде, скопированной без понимания. Разберём типичные сбои и способы их исправления.

Почему это происходит

Ошибки почти всегда связаны с контекстом: другая версия пакета, не тот пользователь, устаревший конфиг или команда из руководства для другой системы. Prometheus и Grafana не исключение. Поэтому сначала фиксируем исходное состояние, затем меняем одну вещь за раз.

Типичные ошибки

Ниже — сбои, которые встречаются чаще всего. Перед исправлением сохраните текущие конфиги и запишите, какие изменения вносите: так проще откатиться.

1. Цель в состоянии DOWN

Проверьте адрес и порт, файрвол и статус node_exporter. Откройте /metrics вручную с той машины, где работает Prometheus.

2. Grafana не показывает данные

Проверьте источник данных, диапазон времени и часовой пояс. Запрос должен возвращать данные в Prometheus, а не только в панели.

3. Prometheus потребляет много памяти

Сократите кардинальность метрик и срок хранения. Удалите цели, которые давно не нужны, и проверьте, не собираются ли метки с высокой изменчивостью.

Как настроить правильно

Правильная последовательность проста: проверить версию и зависимости, сделать резервную копию конфигурации, внести минимальное изменение, проверить логи и только потом двигаться дальше.

Установка

В Debian, Ubuntu и Linux Mint используется пакетный менеджер APT:

sudo apt install prometheus prometheus-node-exporter grafana

В Fedora и RHEL-совместимых системах пакет ставится через DNF:

sudo dnf install prometheus node_exporter grafana

В Arch Linux и производных пакет доступен в официальных репозиториях:

sudo pacman -S prometheus node-exporter grafana

1. Запустите компоненты

Prometheus и node_exporter — отдельные службы. Проверьте, что обе запущены и слушают свои порты. Grafana запускается независимо.

sudo systemctl enable --now prometheus node_exporter grafana-server
ss -ltnp | grep -E '9090|9100|3000'

2. Добавьте цель для сбора

Prometheus забирает метрики по HTTP. Укажите адрес node_exporter в конфигурации и перезагрузите службу.

sudo nano /etc/prometheus/prometheus.yml
sudo promtool check config /etc/prometheus/prometheus.yml
sudo systemctl reload prometheus

3. Проверьте запросы

В веб-интерфейсе Prometheus на порту 9090 выполните простой запрос и убедитесь, что данные есть. Пустой результат чаще всего означает неверную цель.

curl -s localhost:9090/api/v1/query?query=up
curl -s localhost:9100/metrics | head

4. Подключите Grafana

Войдите в Grafana, добавьте источник данных Prometheus и укажите адрес. Не оставляйте стандартный пароль администратора.

# http://localhost:3000
# Connections → Data sources → Prometheus → http://localhost:9090

Рабочий конфиг

Начните с минимального рабочего варианта. Не копируйте большой конфиг целиком: добавляйте параметры по одному и проверяйте результат после каждого изменения.

# /etc/prometheus/prometheus.yml
global:
  scrape_interval: 15s
scrape_configs:
  - job_name: node
    static_configs:
      - targets: ['localhost:9100']

Практические советы

Эти рекомендации проверены на повседневных задачах. Начните с тех, которые закрывают вашу текущую боль, а не со всего списка сразу.

Совет 1. Не открывайте Prometheus и Grafana в интернет без аутентификации и TLS

Не открывайте Prometheus и Grafana в интернет без аутентификации и TLS.

Совет 2. Следите за кардинальностью меток: лишние метки раздувают базу.

Следите за кардинальностью меток: лишние метки раздувают базу.

Совет 3. Ограничьте срок хранения данных, если диск небольшой.

Ограничьте срок хранения данных, если диск небольшой.

Совет 4. Делайте резервную копию базы Grafana и конфигурации Prometheus.

Делайте резервную копию базы Grafana и конфигурации Prometheus.

Профилактика

Большинство повторяющихся сбоев с Prometheus и Grafana связано не с ошибкой в самой программе, а с окружением: обновились зависимости, изменился путь, закончилось место или другой администратор поправил конфиг. Поэтому профилактика начинается с фиксации исходного состояния.

Сохраните рабочий конфиг в систему контроля версий, добавьте короткий комментарий о том, зачем нужен каждый нестандартный параметр, и запишите команду проверки. Через месяц вы скажете себе спасибо: восстановить логику по чужому файлу без пояснений почти невозможно.

Итог

Большинство ошибок с Prometheus и Grafana лечится не переустановкой, а проверкой конфигурации, логов и прав доступа. Действуйте по одному изменению за раз — и причина быстро найдётся.