Коротко о главном

Prometheus собирает числовые метрики с серверов и приложений, а Grafana показывает их на графиках. Связка стала стандартом для мониторинга: она бесплатна, работает локально и не требует облака. Для домашней лаборатории этого достаточно, чтобы вовремя замечать заполнение диска, рост нагрузки и падение сервисов.

Без метрик администратор узнаёт о проблеме от пользователей. Prometheus хранит историю, позволяет строить запросы и настраивать оповещения, а Grafana делает данные понятными без чтения сырых чисел.

В тестовой среде Prometheus и Grafana запускается за пару минут. В рабочей — важны воспроизводимость, резервные копии, мониторинг и понятный план восстановления. Разберём, как подойти к этому системно.

Что меняется в рабочей среде

В тестовой среде достаточно, чтобы Prometheus и Grafana запускался. В продакшене добавляются требования к доступности, безопасности и восстановлению. Чем раньше вы зафиксируете эти требования, тем меньше придётся переделывать.

Базовая установка

Установка

В Debian, Ubuntu и Linux Mint используется пакетный менеджер APT:

sudo apt install prometheus prometheus-node-exporter grafana

В Fedora и RHEL-совместимых системах пакет ставится через DNF:

sudo dnf install prometheus node_exporter grafana

В Arch Linux и производных пакет доступен в официальных репозиториях:

sudo pacman -S prometheus node-exporter grafana

Настройка и проверка

1. Запустите компоненты

Prometheus и node_exporter — отдельные службы. Проверьте, что обе запущены и слушают свои порты. Grafana запускается независимо.

sudo systemctl enable --now prometheus node_exporter grafana-server
ss -ltnp | grep -E '9090|9100|3000'

2. Добавьте цель для сбора

Prometheus забирает метрики по HTTP. Укажите адрес node_exporter в конфигурации и перезагрузите службу.

sudo nano /etc/prometheus/prometheus.yml
sudo promtool check config /etc/prometheus/prometheus.yml
sudo systemctl reload prometheus

3. Проверьте запросы

В веб-интерфейсе Prometheus на порту 9090 выполните простой запрос и убедитесь, что данные есть. Пустой результат чаще всего означает неверную цель.

curl -s localhost:9090/api/v1/query?query=up
curl -s localhost:9100/metrics | head

4. Подключите Grafana

Войдите в Grafana, добавьте источник данных Prometheus и укажите адрес. Не оставляйте стандартный пароль администратора.

# http://localhost:3000
# Connections → Data sources → Prometheus → http://localhost:9090

5. Постройте дашборд и оповещения

Начните с четырёх графиков: загрузка CPU, память, место на диске, доступность узла. Затем добавьте правило оповещения на заполнение диска.

node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"}
# Alert: < 0.15 в течение 10 минут

Конфигурация для повторяемого развёртывания

Начните с минимального рабочего варианта. Не копируйте большой конфиг целиком: добавляйте параметры по одному и проверяйте результат после каждого изменения.

# /etc/prometheus/prometheus.yml
global:
  scrape_interval: 15s
scrape_configs:
  - job_name: node
    static_configs:
      - targets: ['localhost:9100']

Безопасность и наблюдаемость

Ограничьте доступ к административным интерфейсам, включите логирование и проверяйте, что изменения конфигурации применяются автоматически. Ручные правки на сервере должны быть исключением, а не нормой.

Чек-лист

  • Версии пакетов и конфигурация хранятся в репозитории или системе управления.
  • Есть резервная копия данных и проверенный сценарий восстановления.
  • Административный доступ ограничен по сети и снабжён отдельными учётными записями.
  • Логи и метрики собираются, а оповещения настроены на реальные пороги.
  • Изменения проходят проверку на тестовом стенде до выката.
  • Есть план отката и ответственный за его выполнение.

Практические советы

Эти рекомендации проверены на повседневных задачах. Начните с тех, которые закрывают вашу текущую боль, а не со всего списка сразу.

Совет 1. Не открывайте Prometheus и Grafana в интернет без аутентификации и TLS

Не открывайте Prometheus и Grafana в интернет без аутентификации и TLS.

Совет 2. Следите за кардинальностью меток: лишние метки раздувают базу.

Следите за кардинальностью меток: лишние метки раздувают базу.

Совет 3. Ограничьте срок хранения данных, если диск небольшой.

Ограничьте срок хранения данных, если диск небольшой.

Совет 4. Делайте резервную копию базы Grafana и конфигурации Prometheus.

Делайте резервную копию базы Grafana и конфигурации Prometheus.

Совет 5. Для оповещений используйте отдельный канал, который не зависит от того

Для оповещений используйте отдельный канал, который не зависит от того же сервера.

Типичные ошибки

Ниже — сбои, которые встречаются чаще всего. Перед исправлением сохраните текущие конфиги и запишите, какие изменения вносите: так проще откатиться.

1. Цель в состоянии DOWN

Проверьте адрес и порт, файрвол и статус node_exporter. Откройте /metrics вручную с той машины, где работает Prometheus.

2. Grafana не показывает данные

Проверьте источник данных, диапазон времени и часовой пояс. Запрос должен возвращать данные в Prometheus, а не только в панели.

3. Prometheus потребляет много памяти

Сократите кардинальность метрик и срок хранения. Удалите цели, которые давно не нужны, и проверьте, не собираются ли метки с высокой изменчивостью.

Итог

В рабочей среде Prometheus и Grafana должен быть предсказуемым: версии зафиксированы, изменения проходят проверку, резервные копии существуют, а сбои видны в мониторинге. Чек-лист выше — минимальная отправная точка.

Насколько публикация полезна?

Нажмите на звезду, чтобы оценить!

Средняя оценка 0 / 5. Количество оценок: 0

Оценок пока нет. Поставьте оценку первым.

Поделиться: Telegram ВКонтакте