В статье описывается установка системы Prometheus в совокупности с Grafana (визуализация данных), Alertmanager (обработчик уведомлений), Node exporter (сбор метрик).

Установка Node exporter

Скачиваем архив с бинарным файлом

wget 

Распаковка

tar -xzvf node_exporter-0.18.1.linux-amd64.tar.gz

В архиве содержится бинарник, который нужно перенести в /usr/local/bin:

mv node_exporter*/node_exporter /usr/local/bin

Создание отдельного юзера

useradd -rs /bin/false node_exporter

Необходимо создать юнит для возможности запуска при загрузке как системной службы.

Создаем новый файл

nano /etc/systemd/system/node_exporter.service

Содержимое:

[Unit]
#описание юнита
Description=Node Exporter
#старт после
After=network.target
[Service]
#пользователь
User=node_exporter
#группа
Group=node_exporter
#тип службы, simple – служба будет запущена незамедлительно.
Type=simple
#команда для запуска сервиса
ExecStart=/usr/local/bin/node_exporter
ExecStop=/usr/local/bin/node_exporter
ExecRestart=/usr/local/bin/node_exporter
#команда, указывающая на необходимость перезапуска демона 
Restart=always
 [Install]
#уровень запуска
WantedBy=multi-user.target

Далее необходимо перезагрузить демон system:

systemctl daemon-reload

Добавляем в автозагрузку и запускаем службу

systemctl enable node_exporter
systemctl start node_exporter

Установка Prometheus

Скачиваем Prometheus:

wget

Распакуем архив и переместим бинарные файлы в /usr/local/bin:

tar -xzvf prometheus-2.14.0.linux-amd64.tar.gz
mv prometheus-2.14.0.linux-amd64/prometheus prometheus-2.14.0.linux-amd64/promtool /usr/local/bin

Создаем директории для конфигурационных файлов Prometheus

mkdir /etc/prometheus /var/lib/prometheus

Перемещаем конфигурационные файлы в ранее созданный каталог

mv prometheus-2.14.0.linux-amd64/console prometheus-2.14.0.linux-amd64/console_libraries /etc/prometheus

Удаляем оставшиеся файлы

rm -r prometheus-2.14.0.linux-amd64*

Установка Prometheus

После установки Prometheus необходимо создать конфигурационный файл  /etc/prometheus/prometheus.yml

nano /etc/prometheus/prometheus.yml

Содержимое файла:

global:
  scrape_interval: 10s
scrape_configs:
  - job_name: 'prometheus_metrics'
    scrape_interval: 5s
    static_configs:
      - targets: ['localhost:9090']
  - job_name: 'node_exporter_metrics'
    scrape_interval: 5s
    static_configs:
      - targets: ['localhost:9100']

В конфигурационном файле задается интервал парсинга по умолчанию (параметром scrape_interval). Также заданы два источника метрик prometheus_metrics и node_exporter_metrics, для которых переопределен интервал парсинга в 5 сек. Заданы места, откуда эти метрики будут доступны – localhost. Prometheus использует порт 9090, node_explorer – 9100.

Создаем пользователя для Prometheus, как для node_explorer:

useradd -rs /bin/false prometheus

Изменим владельца файлов, которые будут использоваться Prometheus:

chown -R prometheus:prometheus /etc/prometheus /var/lib/prometheus

Затем, создаем systemd юнит в файле /etc/systemd/system/prometheus.service

Содержание файла:

[Unit]
Description=Prometheus
After=network.target
[Service]
User=prometheus
Group=prometheus
Type=simple
ExecStart=/usr/local/bin/prometheus \
    --config.file /etc/prometheus/prometheus.yml \
    --storage.tsdb.path /var/lib/prometheus/ \
    --web.console.templates=/etc/prometheus/consoles \
    --web.console.libraries=/etc/prometheus/console_libraries
[Install]
WantedBy=multi-user.target

Директива ExecStart  задает пути, которые Prometheus должен использовать для хранения конфигурации, бд временных рядов, шаблонов визуализации веб-интерфейса.

Для применения изменений перезагружаем демон system:

systemctl daemon-reload

Также, добавляем сервис в автозагрузку и запускам сервис

systemctl enable prometheus
systemctl start prometheus

После окончания установки веб-интерфейс будет доступен по адресу http://ip_сервера:9090/

Вкладка “Console”, вкладка “Graph” для создания графиков на основе запроса.

Чтобы просмотреть список источников метрик, необходимо перейти на Status->Service Discovery. Здесь отображается список всех отслеживаемых служб, включая путь, по которому метрики доступны. По умолчанию путь /metrics.

Метрики и запросы Prometheus

Сервер Prometheus собирает метрики и сохраняет их в базе данных временных рядов.

Примеры метрик:

rate(node_network_receive_bytes_total[1m]) — средний сетевой трафик, полученный в секунду за последнюю минуту (в байтах)

node_filesystem_avail_bytes – объем файловой системы, доступное для пользователей без полномочий root (в байтах)

node_load1 – средняя загрузка за минуту

Установка AlertManager

Alertmanager  — обработчик уведомлений.

Создаем юнит для systemd:

nano/etc/systemd/system/alertmanager.service

Содержимое файла:

[Unit]
Description=Alertmanager for prometheus
After=network.target
[Service]
User=alertmanager
ExecStart=/usr/local/bin/alertmanager \
  --config.file=/etc/alertmanager/alertmanager.yml \
  --storage.path=/var/lib/alertmanager/
ExecReload=/bin/kill -HUP $MAINPID
NoNewPrivileges=true
ProtectHome=true
ProtectSystem=full
[Install]
WantedBy=multi-user.target

Применение настроек и запуск alertmanager

systemctl daemon-reload
systemctl start alertmanager
systemctl status alertmanager

Веб-интерфейс alertmanager доступен по адресу http://ip_адрес_сервера:9093/

Установка Grafana

Grafana – инструмент визуализации данных.

Для получения Grafana переходим на https://grafana.com/grafana/download и скачиваем  последнюю версию.

wget https://dl.grafana.com/oss/release/grafana-6.4.4-1.x86_64.rpm

yum localinstall grafana-6.4.4-1.x86_64.rpm

Запускаем Grafana, добавляем в автозагрузку.

systemctl daemon-reload
systemctl start grafana-server
systemctl status grafana-server
systemctl enable grafana-server.service

В веб-интерфейс Grafana можно попасть по адресу http://ip_адрес_сервера:3000/ По умолчанию учетные данные admin/admin. После входа можно установить новый пароль.

Переходим Configuration->Data Sourse->Prometheus и добавляем Prometheus.

Для установки dashboard’а (виджета) перейти в веб-интерфейсе Dashboards->Manage->Import. 

Также необходимо зайти на https://grafana.com/grafana/dashboards, перейти на страницу dashboard’а. В поле «Get this dashboard» будет указан его ID, который необходимо вставить в Grafana в поле “Grafana.com Dashboard” (или скопировать и вставить url дашбоарда).

После этого подтвердить, нажав на “Import”.

В поле Datasourse дашбоарда 1 Node Exporter 0.18.x (Host Metrics) необходимо выбрать Prometheus