Розгортання Graylog

Конфігурація

Після встановлення всіх компонентів необхідно правильно налаштувати Graylog, щоб він міг взаємодіяти з MongoDB, OpenSearch та був доступний через веб-інтерфейс.

1. Основна конфігурація Graylog

Основний файл конфігурації Graylog знаходиться за адресою /etc/graylog/server/server.conf. Відкрийте його для редагування:

sudo nano /etc/graylog/server/server.conf

У цьому файлі необхідно змінити кілька критично важливих параметрів:

• password_secret: Генерує унікальний секретний ключ. Це дуже важливо для безпеки. Використовуйте команду pwgen -N 96 -s 0 для створення довгого випадкового ключа.
• root_password_sha2: Хеш SHA-256 пароля для користувача admin у веб-інтерфейсі Graylog. Згенеруйте його за допомогою команди echo -n "ваш_пароль" | sha256sum. Замініть ваш_пароль на бажаний пароль для адміністратора.
• root_email: Email адміністратора (необов'язково, але корисно).
• root_timezone: Часовий пояс для користувача admin. Наприклад, Europe/Moscow.
• http_bind_address: IP-адреса, на якій Graylog буде слухати вхідні з'єднання для веб-інтерфейсу. Встановіть її на 127.0.0.1:9000, оскільки ми будемо використовувати Caddy для проксіювання запитів та додавання HTTPS.
• http_external_uri: Повний URL, за яким Graylog буде доступний ззовні. Це буде ваш домен з HTTPS, наприклад, https://graylog.example.com/.
• opensearch_hosts: Список хостів OpenSearch. Оскільки він встановлений локально, вкажіть http://localhost:9200.
• mongodb_uri: URI для підключення до MongoDB. За замовчуванням mongodb://localhost:27017/graylog.

Приклад змін у server.conf:

# ...
password_secret = [ЗГЕНЕРОВАНИЙ_СЕКРЕТ_ДОВЖИНОЮ_96_СИМВОЛІВ]
root_password_sha2 = [ХЕШ_ВАШОГО_ПАРОЛЯ_ДЛЯ_ADMIN]
root_email = "[email protected]"
root_timezone = "Europe/Moscow"
# ...
http_bind_address = 127.0.0.1:9000 # Graylog буде слухати локально
http_publish_uri = http://127.0.0.1:9000/
http_external_uri = https://graylog.example.com/ # ВАШ ДОМЕН З HTTPS
# ...
opensearch_hosts = http://localhost:9200
# ...
# mongodb_uri = mongodb://localhost:27017/graylog # Зазвичай за замовчуванням підходить
# ...

Після внесення змін збережіть файл. Запустіть та ввімкніть Graylog:

sudo systemctl daemon-reload
sudo systemctl enable graylog-server.service
sudo systemctl start graylog-server.service
sudo systemctl status graylog-server.service

Дочекайтеся, поки Graylog запуститься. Це може зайняти кілька хвилин.

2. Налаштування TLS/HTTPS за допомогою Caddy

Для безпечного доступу до веб-інтерфейсу Graylog ми будемо використовувати Caddy – сучасний веб-сервер з автоматичним HTTPS. Caddy автоматично отримує та оновлює SSL-сертифікати від Let's Encrypt.

Встановлення Caddy:

sudo apt install -y debian-keyring debian-archive-keyring apt-transport-https
curl -1sLf 'https://dl.cloudsmith.io/public/caddy/stable/gpg.key' | sudo gpg --dearmor -o /usr/share/keyrings/caddy-stable-archive-keyring.gpg
curl -1sLf 'https://dl.cloudsmith.io/public/caddy/stable/debian.deb.txt' | sudo tee /etc/apt/sources.list.d/caddy-stable.list
sudo apt update
sudo apt install caddy -y

Конфігурація Caddy:

Створіть або відредагуйте файл Caddyfile:

sudo nano /etc/caddy/Caddyfile

Додайте наступну конфігурацію (замініть graylog.example.com на ваш домен):

graylog.example.com {
    reverse_proxy 127.0.0.1:9000
    # Налаштування для WebSocket (якщо необхідні, Graylog використовує WebSockets)
    header_up Host {host}
    header_up X-Real-IP {remote_host}
    header_up X-Forwarded-Proto {scheme}
    header_up X-Forwarded-For {remote_host}
}

Збережіть файл. Переконайтеся, що ваш домен graylog.example.com вказує на IP-адресу вашого VPS у DNS-записах (A-запис).

Перезапустіть Caddy для застосування змін:

sudo systemctl enable caddy
sudo systemctl restart caddy
sudo systemctl status caddy

Caddy автоматично отримає SSL-сертифікат. Якщо виникнуть проблеми, перевірте логи Caddy (sudo journalctl -u caddy --no-pager) та переконайтеся, що ваш домен правильно налаштований у DNS та доступний з інтернету.

3. Відкриття портів у брандмауері

Тепер, коли Graylog та Caddy налаштовані, необхідно відкрити відповідні порти в UFW.

• 9000/tcp: Для прямого доступу до Graylog (але ми використовуємо Caddy, тому цей порт можна залишити закритим ззовні).
• 80/tcp та 443/tcp: Для Caddy (HTTP та HTTPS).
• 12201/udp та 12201/tcp: Стандартний порт для Graylog GELF (Graylog Extended Log Format) UDP/TCP.
• 514/udp та 514/tcp: Для Syslog UDP/TCP.
• 5044/tcp: Для Beats (Filebeat, Metricbeat тощо).

Додайте необхідні правила до UFW. Для початку, відкриємо порти для Caddy та GELF:

sudo ufw allow 80/tcp # Для Caddy (http)
sudo ufw allow 443/tcp # Для Caddy (https)
sudo ufw allow 12201/udp # Для GELF UDP input
sudo ufw allow 12201/tcp # Для GELF TCP input
sudo ufw reload # Перезавантажуємо правила UFW
sudo ufw status # Перевіряємо статус UFW

Додавайте інші порти за потреби, залежно від того, які джерела логів ви будете використовувати.

4. Перевірка працездатності

Відкрийте ваш браузер і перейдіть за адресою https://graylog.example.com/ (замініть на ваш домен). Ви повинні побачити сторінку входу в Graylog. Увійдіть з іменем користувача admin та паролем, який ви встановили за допомогою root_password_sha2.

Після входу перевірте в розділі "System" -> "Nodes", що ваш Graylog-сервер запущений і працює коректно. Також переконайтеся, що в розділі "System" -> "Inputs" можна створити новий GELF UDP Input і він успішно запуститься.

Резервне копіювання та обслуговування

Резервне копіювання є критично важливою частиною будь-якої виробничої системи. Graylog зберігає свої дані в MongoDB (конфігурація, метадані) та OpenSearch (самі логи). Важливо регулярно виконувати резервне копіювання обох компонентів.

1. Що резервувати

• База даних MongoDB: Містить всю конфігурацію Graylog, потоки (streams), дашборди, сповіщення, користувачів та метадані. Це найважливіший компонент для відновлення Graylog у робочий стан.
• Конфігураційні файли Graylog: /etc/graylog/server/server.conf.
• Дані OpenSearch: Самі логи. У більшості випадків ці дані можна втратити без критичної шкоди для працездатності Graylog (просто втратиться історія логів), але для аудиту або глибокого аналізу вони можуть бути незамінними. Резервні копії OpenSearch можуть бути дуже об'ємними.

2. Резервне копіювання MongoDB

MongoDB можна резервувати за допомогою утиліти mongodump. Рекомендується виконувати резервне копіювання при вимкненому Graylog-сервері, щоб гарантувати консистентність даних, але для невеликих систем можна робити "гаряче" резервне копіювання.

# Створюємо директорію для резервних копій
sudo mkdir -p /var/backups/mongodb

# Виконуємо резервне копіювання бази даних Graylog
sudo mongodump --db graylog --out /var/backups/mongodb/$(date +%Y%m%d%H%M%S)

# Або резервне копіювання всіх баз (якщо Graylog не єдина)
# sudo mongodump --out /var/backups/mongodb/$(date +%Y%m%d%H%M%S)

3. Резервне копіювання конфігураційних файлів

Просто скопіюйте файл конфігурації Graylog:

sudo cp /etc/graylog/server/server.conf /var/backups/graylog_server_conf_$(date +%Y%m%d%H%M%S).conf

4. Резервне копіювання даних OpenSearch

Резервне копіювання OpenSearch найкраще робити за допомогою Snapshot API. Для цього потрібно зареєструвати репозиторій знімків (наприклад, на NFS, S3 або локально), а потім створювати знімки. Локальний репозиторій:

# Створюємо директорію для знімків OpenSearch
sudo mkdir -p /var/backups/opensearch_snapshots
sudo chown opensearch:opensearch /var/backups/opensearch_snapshots

# Реєструємо репозиторій (виконується через API OpenSearch)
curl -X PUT "http://localhost:9200/_snapshot/my_backup_repository" -H 'Content-Type: application/json' -d'
{
  "type": "fs",
  "settings": {
    "location": "/var/backups/opensearch_snapshots"
  }
}'

# Створюємо знімок всіх індексів
curl -X PUT "http://localhost:9200/_snapshot/my_backup_repository/snapshot_$(date +%Y%m%d%H%M%S)?wait_for_completion=true"

Для автоматизації можна використовувати скрипт та cron.

5. Простий скрипт авторезервного копіювання (cron + rsync)

Створіть скрипт /usr/local/bin/graylog_backup.sh:

#!/bin/bash

BACKUP_DIR="/var/backups/graylog"
TIMESTAMP=$(date +%Y%m%d%H%M%S)
MONGODB_BACKUP_PATH="$BACKUP_DIR/mongodb/$TIMESTAMP"
CONFIG_BACKUP_PATH="$BACKUP_DIR/configs"
OPENSEARCH_SNAPSHOT_REPO="my_backup_repository"

mkdir -p "$MONGODB_BACKUP_PATH"
mkdir -p "$CONFIG_BACKUP_PATH"

echo "Starting Graylog backup at $TIMESTAMP..."

# Backup MongoDB
echo "  Backing up MongoDB..."
sudo mongodump --db graylog --out "$MONGODB_BACKUP_PATH"
if [ $? -eq 0 ]; then
    echo "  MongoDB backup successful."
else
    echo "  MongoDB backup FAILED."
fi

# Backup Graylog config
echo "  Backing up Graylog server.conf..."
sudo cp /etc/graylog/server/server.conf "$CONFIG_BACKUP_PATH/server.conf.$TIMESTAMP"
if [ $? -eq 0 ]; then
    echo "  Graylog config backup successful."
else
    echo "  Graylog config backup FAILED."
fi

# Create OpenSearch snapshot
echo "  Creating OpenSearch snapshot..."
curl -X PUT "http://localhost:9200/_snapshot/$OPENSEARCH_SNAPSHOT_REPO/snapshot_$TIMESTAMP?wait_for_completion=true"
if [ $? -eq 0 ]; then
    echo "  OpenSearch snapshot successful."
else
    echo "  OpenSearch snapshot FAILED."
fi

echo "Graylog backup finished."

# Видалення старих резервних копій (наприклад, старших за 7 днів)
find "$BACKUP_DIR/mongodb/" -type d -mtime +7 -exec rm -rf {} +
find "$CONFIG_BACKUP_PATH/" -type f -mtime +7 -name "server.conf." -delete
# Для знімків OpenSearch потрібно використовувати API OpenSearch для видалення старих знімків
# curl -X DELETE "http://localhost:9200/_snapshot/$OPENSEARCH_SNAPSHOT_REPO/snapshot_TO_DELETE"

sudo chmod +x /usr/local/bin/graylog_backup.sh

sudo crontab -e

0 3    /usr/local/bin/graylog_backup.sh >> /var/log/graylog_backup.log 2>&1

6. Куди зберігати резервні копії

Зберігати резервні копії на тому ж сервері, що й робоча система, вкрай не рекомендується. У випадку апаратного збою VPS або компрометації сервера ви втратите і дані, і резервні копії. Рекомендовані варіанти:

• Зовнішнє S3-сумісне сховище: Хмарні сервіси, такі як AWS S3, Backblaze B2, DigitalOcean Spaces. Можна використовувати s3cmd або rclone для автоматичної синхронізації локальних резервних копій з хмарою.
• Окремий VPS або NAS: Якщо у вас є інший сервер, можна налаштувати rsync по SSH для копіювання резервних копій.
• BorgBackup або Restic: Ці утиліти дозволяють створювати інкрементальні, дедупліковані та зашифровані резервні копії, які можна відправляти на віддалені сховища.

7. Оновлення: rolling vs maintenance window

Оновлення Graylog та його компонентів (OpenSearch, MongoDB, Java) повинно проводитися з обережністю. Завжди читайте офіційну документацію з оновлення для кожної версії.

• Graylog: Зазвичай вимагає зупинки сервісу. Рекомендується планувати "вікно обслуговування" (maintenance window) для оновлень.
• OpenSearch: Для однонодової установки також потрібна зупинка сервісу. У кластерних конфігураціях можливі rolling-оновлення.
• MongoDB: Оновлення мінорних версій зазвичай не вимагають тривалих простоїв, але для мажорних версій також може знадобитися вікно обслуговування.
• Java: Зазвичай можна оновити без зупинки інших сервісів, але перезапуск Graylog та OpenSearch після оновлення Java буде хорошою практикою.

Завжди робіть повні резервні копії перед будь-яким великим оновленням!

Вирішення проблем + FAQ

Graylog не запускається або веб-інтерфейс недоступний. Що робити?

В першу чергу перевірте логи Graylog: sudo journalctl -u graylog-server --no-pager. Найчастіші причини: неправильно налаштований password_secret або root_password_sha2, проблеми з підключенням до MongoDB або OpenSearch, невірно вказаний http_bind_address або http_external_uri. Переконайтеся, що MongoDB та OpenSearch запущені та доступні (sudo systemctl status mongod, sudo systemctl status opensearch, curl http://localhost:9200). Перевірте брандмауер UFW, переконайтеся, що Caddy (якщо використовується) працює та правильно проксіює запити.

OpenSearch не запускається або Graylog його не бачить.

Перевірте логи OpenSearch: sudo journalctl -u opensearch --no-pager. Переконайтеся, що виділено достатньо оперативної пам'яті (JVM heap size) – за замовчуванням OpenSearch намагається використовувати до половини доступної RAM. Якщо RAM мало, це може призвести до збоїв. Перевірте файл /etc/opensearch/opensearch.yml на предмет коректності network.host (має бути localhost для Graylog на тому ж сервері) та cluster.name. Переконайтеся, що порт 9200 доступний локально.

Я не бачу логів у Graylog після налаштування Input.

Перевірте, що Input в Graylog активний та запущений ("System" -> "Inputs"). Переконайтеся, що порт Input'а (наприклад, 12201 для GELF) відкритий у брандмауері UFW на вашому VPS. Перевірте, що джерело логів (наприклад, Filebeat, ваш сервіс) налаштовано на відправку логів на правильну IP-адресу вашого Graylog VPS та порт Beats Input (за замовчуванням 5044/tcp). Не забудьте відкрити цей порт в UFW на Graylog VPS.

Як оновити Graylog до нової версії?

Завжди читайте офіційне керівництво з оновлення Graylog для вашої конкретної версії. Загальний процес включає зупинку Graylog-сервера, оновлення пакета Graylog через apt upgrade graylog-server, перевірку та можливе оновлення конфігураційних файлів, а потім запуск Graylog. Перед оновленням завжди робіть повний резервний копіювання MongoDB та конфігурації Graylog.

Який VPS-конфіг мінімально підійде?

Для невеликих навантажень (до 100-200 повідомлень на секунду) мінімально знадобиться VPS з 2-4 vCPU, 8-12 ГБ оперативної пам'яті та 100-200 ГБ SSD-диска. Однак, для комфортної роботи та можливості невеликого зростання, рекомендується орієнтуватися на 4 vCPU, 16 ГБ RAM та 200-500 ГБ NVMe SSD. Диск повинен бути швидким, оскільки OpenSearch дуже чутливий до I/O продуктивності.

Що обрати — VPS чи dedicated для цього завдання?

Вибір між VPS та dedicated залежить від обсягу логів та критичності системи. Для більшості стартапів, розробників та невеликих команд VPS буде оптимальним та економічним рішенням. Він забезпечує достатню продуктивність та гнучкість. Виділений сервер стає необхідним при дуже високих навантаженнях (тисячі повідомлень на секунду), тривалому зберіганні великих обсягів даних (терабайти логів), або коли потрібна максимальна продуктивність та ізоляція ресурсів. Dedicated сервери забезпечують стабільну продуктивність без "шумних сусідів" та дозволяють використовувати більш потужні дискові підсистеми.

Як налаштувати Graylog для збору логів з віддалених серверів?

Для збору логів з віддалених серверів використовуйте агенти, такі як Filebeat, Fluentd або rsyslog. Filebeat є найпопулярнішим вибором для Graylog, оскільки він легкий та легко налаштовується. На Graylog необхідно створити відповідний Input (наприклад, "Beats Input" для Filebeat). На віддаленому сервері встановіть Filebeat, налаштуйте його для читання потрібних логів та відправки їх на IP-адресу вашого Graylog VPS та порт Beats Input (за замовчуванням 5044/tcp). Не забудьте відкрити цей порт в UFW на Graylog VPS.

Висновки та наступні кроки

Ми успішно розгорнули Graylog 6.0 на вашому VPS, створивши потужну та гнучку платформу для централізованого збору та аналізу логів. Ви отримали працюючу систему з MongoDB для конфігурації, OpenSearch для зберігання даних та Caddy для безпечного доступу по HTTPS. Це значний крок до підвищення прозорості вашої інфраструктури та оперативного реагування на інциденти.

Подальші кроки можуть включати інтеграцію Graylog з вашою існуючою інфраструктурою (налаштування Filebeat на всіх ваших серверах), створення дашбордів для візуалізації ключових метрик та налаштування складних сповіщень для критичних подій. Для масштабування системи розгляньте можливість виділення OpenSearch на окремий сервер або налаштування кластера OpenSearch для підвищення продуктивності та відмовостійкості при зростанні обсягів логів.