Мониторинг Bare Metal серверов: Настройка Prometheus и Grafana

Почему мониторинг Bare Metal критически важен для вашего выделенного сервера

Выделенные серверы от Valebyte предлагают беспрецедентную производительность, контроль и безопасность. Однако с большой мощью приходит и ответственность за тщательное управление. Мониторинг вашего bare metal сервера с помощью таких инструментов, как Prometheus и Grafana, — это не просто опция; это необходимость для:

• Проактивное устранение проблем: Выявляйте потенциальные проблемы, такие как высокая загрузка CPU, нехватка дискового пространства или узкие места в сети, до того, как они повлияют на ваши сервисы.
• Оптимизация производительности: Понимайте схемы использования ресурсов, чтобы точно настраивать ваши приложения, базы данных или игровые серверы для максимальной эффективности.
• Обеспечение бесперебойной работы: Получайте оповещения о критических событиях, гарантируя, что вы сможете быстро отреагировать для поддержания доступности сервисов для ваших пользователей, клиентов или игроков.
• Планирование мощностей: Собирайте исторические данные для принятия обоснованных решений о масштабировании вашей инфраструктуры по мере роста ваших потребностей.
• Аудит безопасности: Отслеживайте необычную сетевую активность или всплески ресурсов, которые могут указывать на инцидент безопасности.

Prometheus — это система мониторинга с открытым исходным кодом, обладающая многомерной моделью данных, гибким языком запросов (PromQL), эффективной базой данных временных рядов и современным подходом к оповещениям. Grafana, в свою очередь, является ведущей платформой с открытым исходным кодом для мониторинга и наблюдаемости, позволяющей запрашивать, визуализировать, оповещать и исследовать ваши метрики, независимо от того, где они хранятся.

Предварительные условия и требования к серверу

Прежде чем мы приступим к установке, убедитесь, что ваш выделенный сервер Valebyte соответствует следующим требованиям:

Операционная система

• Чистая установка дистрибутива Linux. Это руководство предоставит команды как для Ubuntu/Debian, так и для CentOS/RHEL.

Аппаратные ресурсы

Prometheus и Grafana относительно легковесны для базового мониторинга, но потребление ресурсов масштабируется с количеством собираемых метрик и периодом хранения. Для типичной настройки мониторинга выделенного сервера:

• CPU: 2+ ядра (современные многоядерные CPU эффективны).
• RAM: 2 ГБ+ (Prometheus использует RAM для своего индекса в памяти; Grafana также нуждается в некотором объеме).
• Хранилище: 50 ГБ+ SSD (Prometheus хранит данные временных рядов; SSD настоятельно рекомендуются для производительности).

Сетевой доступ

Убедитесь, что следующие порты открыты в брандмауэре вашего сервера (и, возможно, в ваших группах сетевой безопасности):

• 9090/TCP: Веб-интерфейс и API Prometheus.
• 3000/TCP: Веб-интерфейс Grafana.
• 9100/TCP: Node Exporter (для метрик хоста).
• 22/TCP: SSH (для удаленного доступа, который вы, вероятно, используете).

Привилегии пользователя

• Доступ sudo или привилегии root для установки пакетов и управления службами.

Пошаговое руководство по установке

Приступим к настройке вашего стека мониторинга.

Шаг 1: Подготовьте ваш Bare Metal сервер

Сначала обновите список пакетов вашей системы и установленные пакеты. Это гарантирует наличие последних обновлений безопасности и зависимостей.

Для Ubuntu/Debian:

sudo apt update
sudo apt upgrade -y
sudo apt install -y wget curl apt-transport-https software-properties-common

Для CentOS/RHEL:

sudo yum update -y
sudo yum install -y wget curl

Далее создайте выделенных системных пользователей для Prometheus и Node Exporter. Это лучшая практика безопасности, ограничивающая привилегии этих служб.

sudo useradd --no-create-home --shell /bin/false prometheus
sudo useradd --no-create-home --shell /bin/false node_exporter

Шаг 2: Установите сервер Prometheus

Prometheus распространяется в виде предварительно скомпилированных бинарных файлов. Мы загрузим последнюю стабильную версию, извлечем ее и настроим службу systemd.

1. Загрузите Prometheus: Найдите последнюю стабильную версию на странице загрузки Prometheus. Замените номер версии, если доступна более новая.

cd /tmp
wget https://github.com/prometheus/prometheus/releases/download/v2.48.1/prometheus-2.48.1.linux-amd64.tar.gz
tar xvfz prometheus-2.48.1.linux-amd64.tar.gz

2. Переместите бинарные файлы и установите разрешения:

sudo mkdir -p /etc/prometheus
sudo mkdir -p /var/lib/prometheus

sudo cp prometheus-2.48.1.linux-amd64/prometheus /usr/local/bin/
sudo cp prometheus-2.48.1.linux-amd64/promtool /usr/local/bin/
sudo chown prometheus:prometheus /usr/local/bin/prometheus
sudo chown prometheus:prometheus /usr/local/bin/promtool

sudo cp -r prometheus-2.48.1.linux-amd64/consoles /etc/prometheus
sudo cp -r prometheus-2.48.1.linux-amd64/console_libraries /etc/prometheus
sudo chown -R prometheus:prometheus /etc/prometheus/consoles
sudo chown -R prometheus:prometheus /etc/prometheus/console_libraries

sudo chown prometheus:prometheus /var/lib/prometheus

3. Создайте файл конфигурации Prometheus:

Создайте /etc/prometheus/prometheus.yml со следующей базовой конфигурацией. Это настраивает Prometheus для мониторинга самого себя.

sudo nano /etc/prometheus/prometheus.yml

global:
  scrape_interval: 15s # How frequently to scrape targets
  evaluation_interval: 15s # How frequently to evaluate rules

alerting:
  alertmanagers:
  - static_configs:
    - targets:
      # - alertmanager:9093

rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"

scrape_configs:
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090'] # Prometheus server itself

Установите соответствующие разрешения для файла конфигурации:

sudo chown prometheus:prometheus /etc/prometheus/prometheus.yml

4. Создайте файл службы Systemd для Prometheus:

Создайте /etc/systemd/system/prometheus.service:

sudo nano /etc/systemd/system/prometheus.service

[Unit]
Description=Prometheus
Wants=network-online.target
After=network-online.target

[Service]
User=prometheus
Group=prometheus
Type=simple
ExecStart=/usr/local/bin/prometheus \
    --config.file /etc/prometheus/prometheus.yml \
    --storage.tsdb.path /var/lib/prometheus \
    --web.console.templates=/etc/prometheus/consoles \
    --web.console.libraries=/etc/prometheus/console_libraries \
    --web.listen-address=:9090

[Install]
WantedBy=multi-user.target

5. Запустите и включите Prometheus:

sudo systemctl daemon-reload
sudo systemctl start prometheus
sudo systemctl enable prometheus
sudo systemctl status prometheus

Убедитесь, что Prometheus запущен, проверив его статус. Вы должны увидеть active (running). Вы также можете получить доступ к пользовательскому интерфейсу Prometheus в вашем веб-браузере по адресу http://YOUR_SERVER_IP:9090.

Шаг 3: Установите Node Exporter (для метрик хоста)

Node Exporter предоставляет широкий спектр аппаратных метрик и метрик ОС (CPU, память, дисковый ввод/вывод, сетевая статистика) с вашего bare metal сервера. Это крайне важно для понимания состояния вашего сервера.

1. Загрузите Node Exporter: Найдите последнюю стабильную версию на странице загрузки Prometheus.

cd /tmp
wget https://github.com/prometheus/node_exporter/releases/download/v1.7.0/node_exporter-1.7.0.linux-amd64.tar.gz
tar xvfz node_exporter-1.7.0.linux-amd64.tar.gz

2. Переместите бинарный файл и установите разрешения:

sudo cp node_exporter-1.7.0.linux-amd64/node_exporter /usr/local/bin/
sudo chown node_exporter:node_exporter /usr/local/bin/node_exporter

3. Создайте файл службы Systemd для Node Exporter:

Создайте /etc/systemd/system/node_exporter.service:

sudo nano /etc/systemd/system/node_exporter.service

[Unit]
Description=Node Exporter
Wants=network-online.target
After=network-online.target

[Service]
User=node_exporter
Group=node_exporter
Type=simple
ExecStart=/usr/local/bin/node_exporter --web.listen-address=:9100

[Install]
WantedBy=multi-user.target

4. Запустите и включите Node Exporter:

sudo systemctl daemon-reload
sudo systemctl start node_exporter
sudo systemctl enable node_exporter
sudo systemctl status node_exporter

Вы можете убедиться, что Node Exporter работает, посетив http://YOUR_SERVER_IP:9100/metrics в вашем браузере. Вы должны увидеть большое количество метрик в виде обычного текста.

5. Добавьте Node Exporter в конфигурацию Prometheus:

Отредактируйте /etc/prometheus/prometheus.yml, чтобы добавить Node Exporter в качестве цели:

sudo nano /etc/prometheus/prometheus.yml

Добавьте следующую запись scrape_configs:

scrape_configs:
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']

  - job_name: 'node_exporter'
    static_configs:
      - targets: ['localhost:9100'] # Node Exporter running on the same server

6. Перезагрузите конфигурацию Prometheus:

sudo systemctl reload prometheus

Перейдите в пользовательский интерфейс Prometheus (http://YOUR_SERVER_IP:9090), затем в 'Status' -> 'Targets'. Теперь вы должны увидеть задачи 'prometheus' и 'node_exporter' со статусом 'UP'.

Шаг 4: Установите Grafana

Grafana будет получать данные из Prometheus и представлять их в красивых, настраиваемых дашбордах.

Для Ubuntu/Debian:

sudo wget -q -O /usr/share/keyrings/grafana.key https://apt.grafana.com/gpg.key
echo "deb [signed-by=/usr/share/keyrings/grafana.key] https://apt.grafana.com stable main" | sudo tee /etc/apt/sources.list.d/grafana.list
sudo apt update
sudo apt install grafana -y

Для CentOS/RHEL:

sudo nano /etc/yum.repos.d/grafana.repo

[grafana]
name=grafana
baseurl=https://rpm.grafana.com
repo_gpgcheck=1
enabled=1
gpgcheck=1
gpgkey=https://rpm.grafana.com/gpg.key
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt

sudo yum install grafana -y

Запустите и включите Grafana:

sudo systemctl daemon-reload
sudo systemctl start grafana-server
sudo systemctl enable grafana-server
sudo systemctl status grafana-server

Grafana теперь должна быть запущена. Получите доступ к ее веб-интерфейсу по адресу http://YOUR_SERVER_IP:3000. Логин по умолчанию admin / admin. Вам будет предложено изменить пароль при первом входе – СДЕЛАЙТЕ ЭТО НЕМЕДЛЕННО!

Шаг 5: Настройте Grafana для визуализации данных Prometheus

1. Добавьте Prometheus как источник данных:

• Войдите в Grafana (http://YOUR_SERVER_IP:3000).
• Нажмите на значок шестеренки (Configuration) на левой боковой панели, затем выберите 'Data sources'.
• Нажмите 'Add data source'.
• Выберите 'Prometheus' из списка.
• В разделе 'HTTP' установите 'URL' на http://localhost:9090 (поскольку Prometheus находится на том же сервере).
• Прокрутите вниз и нажмите 'Save & Test'. Вы должны увидеть сообщение, подтверждающее 'Data source is working'.

2. Импортируйте готовый дашборд для Node Exporter:

Grafana предлагает обширную библиотеку дашбордов, созданных сообществом. Популярный дашборд для Node Exporter имеет ID 1860.

• Нажмите на значок '+' на левой боковой панели, затем выберите 'Import'.
• В поле 'Import via grafana.com' введите 1860 и нажмите 'Load'.
• На следующем экране выберите ваш источник данных Prometheus из выпадающего списка.
• Нажмите 'Import'.

Теперь вы должны увидеть комплексный дашборд, отображающий метрики с вашего bare metal сервера, охватывающие CPU, память, дисковый ввод/вывод, сетевой трафик и многое другое. Это предоставляет немедленное понимание состояния вашего сервера, что крайне важно для управления всем, от игровых серверов до сложных веб-приложений.

Шаг 6: Защитите ваш стек мониторинга

Выставление инструментов мониторинга в интернет без надлежащей безопасности является значительным риском. Реализуйте эти шаги для производственных сред.

1. Настройте ваш брандмауэр:

Открывайте только необходимые порты и, по возможности, ограничивайте доступ доверенными IP-адресами.

Для UFW (Ubuntu/Debian):

sudo ufw allow ssh
sudo ufw allow 9090/tcp # Prometheus (consider restricting to specific IPs)
sudo ufw allow 3000/tcp # Grafana (consider restricting to specific IPs)
sudo ufw allow 9100/tcp # Node Exporter (consider restricting to Prometheus server IP)
sudo ufw enable

Для Firewalld (CentOS/RHEL):

sudo firewall-cmd --add-service=ssh --permanent
sudo firewall-cmd --add-port=9090/tcp --permanent # Prometheus
sudo firewall-cmd --add-port=3000/tcp --permanent # Grafana
sudo firewall-cmd --add-port=9100/tcp --permanent # Node Exporter
sudo firewall-cmd --reload

Важно: Для Prometheus и Grafana настоятельно рекомендуется ограничить доступ определенным диапазоном доверенных IP-адресов или проксировать их за веб-сервером с аутентификацией и HTTPS.

2. Защитите Grafana:

• Измените пароль администратора по умолчанию: Вы уже сделали это (надеемся!).
• Включите HTTPS: Настройте Nginx или Apache в качестве обратного прокси для Grafana и защитите его SSL-сертификатом Let's Encrypt. Это шифрует трафик к вашему пользовательскому интерфейсу Grafana.
• Управление пользователями: Создавайте конкретных пользователей с соответствующими ролями (Viewer, Editor, Admin) вместо совместного использования учетной записи 'admin'.

3. Защитите Prometheus:

• Обратный прокси с аутентификацией: Аналогично, используйте Nginx или Apache для проксирования запросов к веб-интерфейсу Prometheus (порт 9090) и добавьте базовую аутентификацию.

Примеры конфигурации и расширенный мониторинг

Мониторинг дополнительных приложений (экспортеров)

Мощь Prometheus исходит от его экосистемы 'экспортеров'. Это небольшие приложения, которые предоставляют метрики из различных сервисов в формате, читаемом Prometheus.

• Мониторинг баз данных: Установите mysqld_exporter для MySQL/MariaDB или postgres_exporter для PostgreSQL.
• Мониторинг веб-серверов: Используйте apache_exporter или nginx_exporter для получения метрик по HTTP-запросам, соединениям и т.д.
• Пользовательские приложения: Используйте клиентские библиотеки Prometheus (доступны для Go, Java, Python, Ruby, Node.js) для инструментирования ваших собственных приложений и предоставления пользовательских метрик.

После установки экспортера вам потребуется добавить его как новый job_name в ваш файл /etc/prometheus/prometheus.yml, аналогично тому, как вы добавляли Node Exporter. Не забудьте перезагрузить Prometheus (sudo systemctl reload prometheus) после любых изменений конфигурации.

Оповещения с помощью Alertmanager

Хотя Grafana может отправлять базовые оповещения, Alertmanager Prometheus обрабатывает более сложные оповещения. Он дедуплицирует, группирует и маршрутизирует оповещения по различным каналам уведомлений (электронная почта, Slack, PagerDuty и т.д.).

Базовая настройка Alertmanager:

1. Загрузите Alertmanager: Аналогично Prometheus, загрузите последний бинарный файл со страницы загрузки Prometheus.
2. Настройте Alertmanager: Создайте /etc/alertmanager/alertmanager.yml для определения получателей и маршрутизации.
3. Создайте службу Systemd: Настройте службу systemd для Alertmanager.
4. Интегрируйте с Prometheus: Добавьте адрес Alertmanager в раздел alerting вашего /etc/prometheus/prometheus.yml.
5. Определите правила оповещения: Создайте файлы .yml (например, /etc/prometheus/rules.yml) с выражениями PromQL, которые определяют, когда должно срабатывать оповещение, и включите их в rule_files в prometheus.yml.

Это позволяет вам мгновенно получать уведомления, если ваш выделенный сервер испытывает высокую нагрузку на CPU, критическое использование дискового пространства или если процессы вашего игрового сервера перестают отвечать. Этот уровень проактивного мониторинга бесценен для поддержания высокой доступности таких сервисов, как веб-хостинг, почтовые серверы и CI/CD-конвейеры.

Тестирование и проверка

• Цели Prometheus: В пользовательском интерфейсе Prometheus (http://YOUR_SERVER_IP:9090) перейдите в 'Status' -> 'Targets'. Убедитесь, что все настроенные цели (prometheus, node_exporter и любые другие экспортеры) показывают 'UP'.
• График Prometheus: Используйте вкладку 'Graph' в Prometheus для выполнения простых запросов, например, node_cpu_seconds_total или prometheus_build_info, чтобы убедиться, что данные собираются.
• Дашборды Grafana: Убедитесь, что ваш импортированный дашборд Node Exporter (ID 1860) заполняется актуальными данными. Попробуйте настроить временной диапазон, чтобы увидеть исторические данные.
• Оповещения (если настроены): Если вы настроили Alertmanager, создайте тестовое правило оповещения, предназначенное для немедленного срабатывания (например, vector(1)), чтобы убедиться, что уведомления отправляются правильно.

Устранение распространенных проблем

Даже при тщательной настройке могут возникнуть проблемы. Вот как диагностировать и устранять распространенные проблемы:

Служба не запускается

Если Prometheus, Node Exporter или Grafana не запускаются:

• Проверьте логи: Самый важный шаг. Используйте journalctl для просмотра логов службы.

  sudo journalctl -xeu prometheus
  sudo journalctl -xeu node_exporter
  sudo journalctl -xeu grafana-server

• Разрешения: Убедитесь, что пользователи служб (prometheus, node_exporter) имеют доступ на чтение/запись к своим соответствующим каталогам (/etc/prometheus, /var/lib/prometheus и т.д.).
• Синтаксис конфигурации: Для Prometheus запустите promtool check config /etc/prometheus/prometheus.yml для проверки вашей конфигурации.

Prometheus не собирает метрики с целей (статус 'DOWN')

• Брандмауэр: Убедитесь, что порт цели (например, 9100 для Node Exporter) открыт на сервере, где запущен экспортер.
• IP-адрес/Порт: Дважды проверьте запись targets в prometheus.yml. Она должна соответствовать фактическому адресу прослушивания экспортера.
• Экспортер запущен: Убедитесь, что сама служба экспортера запущена на целевом сервере (например, sudo systemctl status node_exporter).
• Сетевое подключение: С сервера Prometheus попробуйте выполнить curl http://TARGET_IP:PORT/metrics, чтобы проверить доступность.

Grafana не подключается к источнику данных Prometheus

• Prometheus запущен: Убедитесь, что сервер Prometheus активен и доступен с сервера Grafana.
• Брандмауэр: Убедитесь, что Grafana может достичь Prometheus по порту 9090 (если они на разных серверах или если установлен строгий локальный брандмауэр).
• URL в источнике данных: Убедитесь, что 'URL' в конфигурации источника данных Prometheus в Grafana верен (например, http://localhost:9090 или http://PROMETHEUS_SERVER_IP:9090).

'Нет данных' в дашбордах Grafana

• Временной диапазон: Проверьте селектор временного диапазона в Grafana. Установлено ли 'Last 5 minutes', но ваши данные старше?
• Данные Prometheus: Можете ли вы видеть данные непосредственно на вкладке 'Graph' в пользовательском интерфейсе Prometheus, используя те же запросы PromQL? Если нет, Prometheus их не собирает.
• Выбран источник данных: Убедитесь, что в конфигурации панели дашборда выбран правильный источник данных Prometheus.
• Ошибки запросов: Проверьте 'Query Inspector' в Grafana на наличие ошибок в запросах PromQL, используемых панелями дашборда.

Высокое потребление ресурсов стеком мониторинга

• Хранение данных Prometheus: По умолчанию Prometheus хранит данные в течение 15 дней. Если вам нужен более длительный срок, настройте --storage.tsdb.retention.time или --storage.tsdb.retention.size в его файле службы systemd. Будьте внимательны к дисковому пространству.
• Интервалы сбора: Если вы собираете данные с сотен целей каждую секунду, Prometheus будет потреблять больше ресурсов. При необходимости настройте scrape_interval в prometheus.yml.
• Количество экспортеров/метрик: Каждый экспортер добавляет метрики. Включайте только те экспортеры и собирайте только те метрики, которые действительно полезны.

Реальные сценарии использования мониторинга выделенного сервера

Внедрение Prometheus и Grafana на вашем выделенном сервере Valebyte позволяет оптимизировать и поддерживать широкий спектр критически важных приложений:

• Игровые серверы: Мониторинг CPU, RAM, задержки сети и дискового ввода/вывода для обеспечения плавной игры, обнаружения DDoS-атак и эффективного масштабирования ресурсов для популярных игр.
• Высоконагруженный веб-хостинг: Следите за производительностью веб-сервера (Nginx, Apache), запросами к базам данных и временем отклика приложений, чтобы гарантировать высокую скорость загрузки и доступность ваших веб-сайтов.
• Надежные базы данных: Отслеживайте производительность запросов, количество соединений, использование диска и статус репликации для MySQL, PostgreSQL или MongoDB, предотвращая замедления и потерю данных.
• Надежные почтовые серверы: Мониторинг длины очередей, попыток подключения, дискового пространства и использования ресурсов для Postfix, Dovecot или Exchange для обеспечения доставки электронной почты и предотвращения проблем со спамом.
• Стриминговые платформы: Контролируйте использование пропускной способности, количество одновременных пользователей, нагрузку на CPU от транскодирования и производительность хранилища для обеспечения бесперебойного воспроизведения медиа.
• CI/CD-конвейеры: Отслеживайте потребление ресурсов агентами сборки, время выполнения задач и дисковое пространство во время процессов непрерывной интеграции и развертывания, оптимизируя ваш рабочий процесс разработки.
• Обработка больших данных: Мониторинг распределения ресурсов, хода выполнения задач и состояния кластера для Spark, Hadoop или других фреймворков больших данных, работающих на вашей выделенной инфраструктуре.
• Хосты виртуализации: Если вы запускаете виртуальные машины на вашем bare metal сервере, отслеживайте общее состояние хоста и распределение ресурсов для обеспечения оптимальной производительности для всех гостевых систем.