Встановлення Apache Airflow на VPS: Docker, PostgreSQL, CeleryExecutor, SSL і резервні копії
Коротко
У цьому посібнику ми розгорнемо Apache Airflow 3 на VPS через Docker Compose: PostgreSQL зберігатиме метадані, Redis стане брокером завдань для CeleryExecutor, Caddy автоматично видасть SSL-сертифікат, а резервні копії PostgreSQL, DAG-файлів і конфігурації надсилатимуться до зовнішнього S3-сховища.
- Airflow працюватиме у відмовостійкій для невеликих команд схемі з
CeleryExecutor. - Вебінтерфейс буде доступний через HTTPS на власному домені.
- PostgreSQL, Redis, scheduler, worker і API-сервер будуть ізольовані Docker Compose.
- Секрети зберігатимуться у файлі
.env, а не в Docker Compose або DAG-коді. - Резервні копії PostgreSQL і файлів Airflow виконуватимуться автоматично за розкладом.
- Конфігурація розрахована на Ubuntu Server 24.04 LTS і Apache Airflow 3.0.x.
Що ми налаштовуємо і навіщо
Apache Airflow — це платформа для оркестрації завдань і пайплайнів. В Airflow розробник описує процес обробки даних як DAG — орієнтований ациклічний граф. Кожне завдання має залежності, розклад, ретраї, логи та статус. Наприклад, Airflow може щоночі вивантажувати дані з CRM, запускати Python-трансформації, завантажувати результат у PostgreSQL і повідомляти команду про помилку.
Airflow підходить не лише для класичного ETL. Його використовують для запуску ML-пайплайнів, періодичних API-інтеграцій, генерації звітів, резервного копіювання, синхронізації SaaS-сервісів, обробки файлів і завдань DevOps. Головна умова: процес має складатися з повторюваних кроків, для яких важливі розклад, спостережуваність і повторний запуск.
У базовому режимі Airflow може працювати з LocalExecutor, коли scheduler запускає завдання на тому самому сервері. Для тестового середовища цього достатньо. Однак для production-сценарію з кількома одночасними DAG, складними Python-завданнями або кількома користувачами розумніше використовувати CeleryExecutor. Він відокремлює планування від виконання: scheduler ставить завдання в чергу Redis, а окремі Celery workers забирають і виконують їх.
Підсумкова архітектура
| Компонент | Призначення | Де працює |
|---|---|---|
| Airflow API Server | Вебінтерфейс, REST API та автентифікація | Docker-контейнер |
| Airflow Scheduler | Розбирає DAG, створює запуски та ставить завдання в чергу | Docker-контейнер |
| Airflow DAG Processor | Окремо обробляє Python-файли DAG | Docker-контейнер |
| Celery Worker | Виконує завдання DAG | Docker-контейнер |
| PostgreSQL 16 | Зберігає користувачів, стан завдань, підключення та метадані | Docker volume |
| Redis 7 | Черга завдань Celery і тимчасове сховище повідомлень | Docker volume |
| Caddy | Reverse proxy, HTTPS і автоматичне оновлення TLS-сертифікатів | Хостова система |
Що ви отримаєте після налаштування
- Доступ до Airflow за адресою на кшталт
https://airflow.example.com. - Окрему базу PostgreSQL замість вбудованого SQLite.
- Чергу завдань і паралельне виконання через CeleryExecutor.
- Персистентні Docker volumes для PostgreSQL, Redis і логів.
- Каталог для DAG, плагінів і конфігурації на хості.
- HTTPS без ручного випуску та продовження сертифікатів.
- Автоматичні зашифровані резервні копії у зовнішнє сховище.
Cloud-managed Airflow або self-hosted на VPS
Managed-варіанти знімають частину експлуатаційних завдань: провайдер оновлює інфраструктуру, зберігає метадані та іноді масштабує workers. Це зручно для великих команд, але зазвичай обмежує версії, мережеву топологію, встановлення системних бібліотек і кастомних Python-залежностей. Вартість також може помітно зрости за постійної роботи воркерів.
Self-hosted Apache Airflow на VPS дає повний контроль. Можна додавати системні пакети в образ, використовувати закриті мережі, підключати локальні сервіси, фіксувати версію Python-пакетів і зберігати дані у вибраній юрисдикції. Ціна такого контролю — необхідність самостійно стежити за оновленнями, резервними копіями, секретами та доступністю сервера.
Не використовуйте Airflow як універсальний сервіс черг у реальному часі. Він призначений для запланованих і пакетних процесів. Для обробки тисяч коротких подій на секунду частіше потрібні Kafka, RabbitMQ, NATS або спеціалізований worker-сервіс.
dnsСервер під цю інструкцію
Відповідні тарифи перевірених провайдерів, ціни оновлюються щодня.
Порівняти:Vultr vs DigitalOceanVultr vs ContaboУсі VPS за ціною
Партнерські посилання: за покупку ми можемо отримати комісію, ціна для вас не змінюється.
Яка конфігурація VPS потрібна для цього завдання
Споживання ресурсів Airflow залежить не лише від кількості DAG. Важливі частота запуску, обсяг логів, кількість одночасних завдань, бібліотеки Python, а також навантаження на PostgreSQL. Навіть за невеликої кількості пайплайнів кілька сервісів Airflow постійно працюють у пам’яті: API server, scheduler, DAG processor, worker, PostgreSQL і Redis.
| Сценарій | vCPU | RAM | NVMe SSD | Відповідний режим |
|---|---|---|---|---|
| Тести, 1–5 легких DAG | 2 | 4 ГБ | 40–60 ГБ | LocalExecutor або Celery з одним worker |
| Невеликий production, 5–30 DAG | 4 | 8 ГБ | 80–120 ГБ | CeleryExecutor, 1–2 workers |
| Команда та регулярні ETL-процеси | 8 | 16 ГБ | 160 ГБ і більше | CeleryExecutor, кілька workers |
| Складні ML/аналітичні завдання | 8–16+ | 32 ГБ+ | 300 ГБ+ | Окремі workers або dedicated |
Для старту з production-навантаженням розумна конфігурація — 4 vCPU, 8 ГБ RAM, 100 ГБ NVMe і порт не нижче 100 Мбіт/с. Цього достатньо для Airflow, PostgreSQL, Redis і одного Celery worker із помірним паралелізмом. Такий сервер можна використовувати як VPS із зазначеними характеристиками, якщо завдання не потребують великого обсягу пам’яті або локальної обробки десятків гігабайтів даних.
Чому не варто починати з 2 ГБ RAM
На сервері з 2 ГБ пам’яті Docker-контейнери можуть формально запуститися, але під час імпорту складних бібліотек, міграцій бази або одночасного виконання завдань система почне використовувати swap. У результаті scheduler пропускає heartbeats, worker отримує сигнал OOM Killer, а інтерфейс Airflow стає повільним. Мінімум 4 ГБ підходить лише для стенду розробки; для робочих DAG краще планувати 8 ГБ.
Коли потрібен dedicated, а не VPS
Dedicated-сервер виправданий, якщо завдання постійно навантажують CPU, потребують 32–64 ГБ RAM, обробляють великі локальні файли, використовують GPU або чутливі до передбачуваної продуктивності диска. Він також корисний, якщо Airflow запускає багато складних workers на одній машині й ви не хочете конкурувати за ресурси з іншими віртуальними машинами на хості.
Якщо ж Airflow лише координує зовнішні сервіси — API, хмарні бази, об’єктні сховища та serverless-завдання — VPS зазвичай достатньо. У цьому випадку основні обчислення виконуються за межами Airflow, а сам сервер зберігає метадані та керує розкладом.
Вибір локації
Локація VPS впливає на затримку до PostgreSQL, S3, корпоративних API та співробітників, які відкривають вебінтерфейс. Розміщуйте сервер ближче до основної бази даних або приватної мережі, а не лише до користувачів інтерфейсу. Якщо DAG регулярно передає великі файли до S3-сумісного сховища, виміряйте мережеву затримку та вартість вихідного трафіку.
Для персональних і фінансових даних враховуйте вимоги юрисдикції. У будь-якому разі не відкривайте PostgreSQL, Redis і внутрішні порти Airflow в інтернет: зовнішній доступ має бути лише до SSH, HTTP і HTTPS.
Підготовка сервера
Нижче передбачається чистий сервер з Ubuntu Server 24.04 LTS, публічною IPv4-адресою та доменом airflow.example.com. До налаштування Caddy створіть DNS-запис типу A, що вказує на IP-адресу VPS. Для IPv6 додайте запис AAAA, лише якщо сервер справді приймає вхідний IPv6-трафік.
Підключення та оновлення системи
Підключіться початковим користувачем, якого надав провайдер, а потім оновіть пакети. Перезавантаження потрібне, якщо оновилося ядро або критичні системні бібліотеки.
ssh root@SERVER_IP
apt update && apt upgrade -y
apt install -y curl wget ca-certificates gnupg lsb-release \
git vim unzip htop jq ufw fail2ban cron
reboot
Після перезавантаження підключіться знову та створіть окремого користувача. Не виконуйте повсякденне адміністрування від root: це знижує ризик випадково видалити системні файли або виконати шкідливу команду з максимальними правами.
adduser deploy
usermod -aG sudo deploy
mkdir -p /home/deploy/.ssh
chmod 700 /home/deploy/.ssh
cp /root/.ssh/authorized_keys /home/deploy/.ssh/authorized_keys
chown -R deploy:deploy /home/deploy/.ssh
chmod 600 /home/deploy/.ssh/authorized_keys
Перевірте вхід новим користувачем в окремому терміналі. Не закривайте root-сесію, доки не переконаєтеся, що ключ приймається.
ssh deploy@SERVER_IP
sudo -v
exit
Захист SSH
Вимкніть автентифікацію за паролем і прямий вхід root лише після перевірки доступу за ключем. Створіть окремий drop-in-файл, щоб не редагувати основний конфігураційний файл OpenSSH.
sudo tee /etc/ssh/sshd_config.d/99-hardening.conf > /dev/null <<'EOF'
PasswordAuthentication no
KbdInteractiveAuthentication no
PermitRootLogin no
PubkeyAuthentication yes
MaxAuthTries 3
X11Forwarding no
EOF
sudo sshd -t && sudo systemctl restart ssh
Налаштуйте UFW. Docker публікує порти через власні правила iptables, тому надалі API Airflow буде прив’язаний лише до 127.0.0.1, а не до публічного інтерфейсу. Зовнішній доступ отримає лише Caddy на портах 80 і 443.
sudo ufw default deny incoming
sudo ufw default allow outgoing
sudo ufw allow OpenSSH
sudo ufw allow 80/tcp
sudo ufw allow 443/tcp
sudo ufw enable
sudo ufw status verbose
Fail2ban блокуватиме IP-адреси з повторюваними невдалими спробами входу через SSH. Для автентифікації за ключем це додатковий, а не основний рівень захисту.
sudo systemctl enable --now fail2ban
sudo fail2ban-client status sshd
Системні ліміти та каталог проєкту
Airflow створює багато файлів журналів, а PostgreSQL використовує файлові дескриптори. Підвищимо ліміт відкритих файлів для користувача, від імені якого працюватиме Docker Compose. Потім створимо структуру каталогів.
sudo tee /etc/security/limits.d/99-airflow.conf > /dev/null <<'EOF'
deploy soft nofile 65535
deploy hard nofile 65535
EOF
sudo mkdir -p /opt/airflow/{dags,logs,plugins,config,backups,scripts}
sudo chown -R deploy:deploy /opt/airflow
sudo chmod 750 /opt/airflow
sudo -iu deploy
cd /opt/airflow
Усі наступні команди Docker Compose виконуйте користувачем deploy з каталогу /opt/airflow. Не зберігайте DAG, конфігурації та резервні копії в домашньому каталозі root: це ускладнює керування правами доступу та відновлення.
Встановлення ПЗ — покроково
У цій конфігурації використовуються Docker Engine 27+, Docker Compose Plugin 2.30+, PostgreSQL 16, Redis 7.4 та Apache Airflow 3.0.2. Версію Airflow зафіксовано навмисно: автоматичне завантаження тега latest небезпечне, оскільки велике оновлення може змінити схему бази даних і поведінку API.
Встановлення Docker Engine і Docker Compose
Додамо офіційний репозиторій Docker для Ubuntu 24.04. Команди встановлюють рушій контейнерів, CLI, Buildx і Compose Plugin.
sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | \
sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg
echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] \
https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io \
docker-buildx-plugin docker-compose-plugin
Додайте користувача deploy до групи Docker. Після цього необхідно повторно ввійти через SSH, інакше команда docker вимагатиме sudo.
sudo usermod -aG docker deploy
exit
ssh deploy@SERVER_IP
docker version
docker compose version
Налаштування Docker daemon
Обмежимо зростання JSON-логів контейнерів. Без ротації Docker-логи можуть заповнити диск навіть у разі помірної помилки в завданні Python.
sudo tee /etc/docker/daemon.json > /dev/null <<'EOF'
{
"log-driver": "local",
"log-opts": {
"max-size": "20m",
"max-file": "5"
},
"live-restore": true
}
EOF
sudo systemctl restart docker
docker info | grep -E "Logging Driver|Live Restore"
Створення секретів Airflow
Airflow використовує Fernet key для шифрування Connection passwords і Variable values у базі даних. API secret key потрібен для підпису сесій і токенів. PostgreSQL і Redis також повинні мати випадкові паролі. Значення не можна комітити в Git і публікувати в тикетах.
cd /opt/airflow
FERNET_KEY=$(docker run --rm apache/airflow:3.0.2 \
python -c "from cryptography.fernet import Fernet; print(Fernet.generate_key().decode())")
API_SECRET=$(openssl rand -hex 32)
POSTGRES_PASSWORD=$(openssl rand -base64 32 | tr -d '\n')
REDIS_PASSWORD=$(openssl rand -base64 32 | tr -d '\n')
ADMIN_PASSWORD=$(openssl rand -base64 24 | tr -d '\n')
printf '%s\n' "Generated secrets are ready."
Створіть файл .env. Замініть домен, email адміністратора та вставте згенеровані значення. Пароль адміністратора можна замінити на власний довгий пароль, який зберігатиметься в менеджері паролів.
cat > /opt/airflow/.env <<EOF
AIRFLOW_UID=$(id -u)
AIRFLOW_GID=$(id -g)
POSTGRES_DB=airflow
POSTGRES_USER=airflow
POSTGRES_PASSWORD=${POSTGRES_PASSWORD}
REDIS_PASSWORD=${REDIS_PASSWORD}
AIRFLOW_FERNET_KEY=${FERNET_KEY}
AIRFLOW_API_SECRET_KEY=${API_SECRET}
AIRFLOW_ADMIN_USERNAME=admin
AIRFLOW_ADMIN_FIRSTNAME=Airflow
AIRFLOW_ADMIN_LASTNAME=Admin
[email protected]
AIRFLOW_ADMIN_PASSWORD=${ADMIN_PASSWORD}
AIRFLOW_DOMAIN=airflow.example.com
EOF
chmod 600 /opt/airflow/.env
Підготовка користувацького образу
Офіційний образ Airflow уже містить основний пакет, але реальні DAG майже завжди потребують додаткових Python-бібліотек. Не встановлюйте їх вручну в запущений контейнер: зміни зникнуть після його повторного створення. Натомість створіть власний образ.
cat > /opt/airflow/requirements.txt <<'EOF'
requests==2.32.3
pandas==2.2.3
psycopg[binary]==3.2.3
EOF
cat > /opt/airflow/Dockerfile <<'EOF'
FROM apache/airflow:3.0.2
COPY requirements.txt /requirements.txt
RUN pip install --no-cache-dir --constraint \
"https://raw.githubusercontent.com/apache/airflow/constraints-3.0.2/constraints-3.12.txt" \
-r /requirements.txt
EOF
Обмеження Airflow критично важливі: вони фіксують сумісні версії бібліотек. У разі додавання провайдерів, наприклад для AWS, Google Cloud, Slack або Kubernetes, додавайте їх до requirements.txt, перебудовуйте образ і тестуйте DAG в окремому середовищі.
Створення Docker Compose-файлу
Наступний compose-файл запускає всі сервіси. Порт API Airflow опубліковано лише на 127.0.0.1:8080; це унеможливлює прямий доступ з інтернету. PostgreSQL і Redis взагалі не публікують порти на хост.
cat > /opt/airflow/docker-compose.yml <<'EOF'
x-airflow-common: &airflow-common
build:
context: .
env_file:
- .env
user: "${AIRFLOW_UID}:0"
restart: unless-stopped
depends_on:
postgres:
condition: service_healthy
redis:
condition: service_healthy
environment:
AIRFLOW__CORE__EXECUTOR: CeleryExecutor
AIRFLOW__DATABASE__SQL_ALCHEMY_CONN: postgresql+psycopg://airflow:${POSTGRES_PASSWORD}@postgres/airflow
AIRFLOW__CELERY__BROKER_URL: redis://:${REDIS_PASSWORD}@redis:6379/0
AIRFLOW__CELERY__RESULT_BACKEND: db+postgresql://airflow:${POSTGRES_PASSWORD}@postgres/airflow
AIRFLOW__CORE__FERNET_KEY: ${AIRFLOW_FERNET_KEY}
AIRFLOW__API__SECRET_KEY: ${AIRFLOW_API_SECRET_KEY}
AIRFLOW__CORE__LOAD_EXAMPLES: "false"
AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION: "true"
AIRFLOW__CORE__PARALLELISM: "8"
AIRFLOW__CORE__MAX_ACTIVE_TASKS_PER_DAG: "4"
AIRFLOW__CELERY__WORKER_CONCURRENCY: "2"
AIRFLOW__LOGGING__REMOTE_LOGGING: "false"
volumes:
- ./dags:/opt/airflow/dags
- ./logs:/opt/airflow/logs
- ./plugins:/opt/airflow/plugins
- ./config:/opt/airflow/config
services:
postgres:
image: postgres:16.6-alpine
restart: unless-stopped
env_file:
- .env
environment:
POSTGRES_DB: ${POSTGRES_DB}
POSTGRES_USER: ${POSTGRES_USER}
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD}
volumes:
- postgres-db-volume:/var/lib/postgresql/data
healthcheck:
test: ["CMD-SHELL", "pg_isready -U airflow -d airflow"]
interval: 10s
timeout: 5s
retries: 10
redis:
image: redis:7.4-alpine
restart: unless-stopped
env_file:
- .env
command: ["redis-server", "--appendonly", "yes", "--requirepass", "${REDIS_PASSWORD}"]
volumes:
- redis-data:/data
healthcheck:
test: ["CMD-SHELL", "redis-cli -a \"$${REDIS_PASSWORD}\" ping | grep PONG"]
interval: 10s
timeout: 5s
retries: 10
airflow-init:
<<: airflow-common
restart: "no"
command:
- bash
- -c
- |
airflow db migrate
airflow users create \
--username "$${AIRFLOW_ADMIN_USERNAME}" \
--firstname "$${AIRFLOW_ADMIN_FIRSTNAME}" \
--lastname "$${AIRFLOW_ADMIN_LASTNAME}" \
--role Admin \
--email "$${AIRFLOW_ADMIN_EMAIL}" \
--password "$${AIRFLOW_ADMIN_PASSWORD}" || true
airflow-apiserver:
<<: airflow-common
command: api-server
ports:
- "127.0.0.1:8080:8080"
healthcheck:
test: ["CMD-SHELL", "curl --fail http://localhost:8080/api/v2/monitor/health || exit 1"]
interval: 30s
timeout: 10s
retries: 5
airflow-scheduler:
<<: airflow-common
command: scheduler
airflow-dag-processor:
<<: airflow-common
command: dag-processor
airflow-worker:
<<: airflow-common
command: celery worker
stop_grace_period: 10m
airflow-triggerer:
<<: airflow-common
command: triggerer
volumes:
postgres-db-volume:
redis-data:
EOF
Перед запуском перевірте, чи Compose коректно підставляє змінні та чи YAML не містить синтаксичних помилок.
cd /opt/airflow
docker compose config > /tmp/airflow-rendered.yml
docker compose build
docker compose up airflow-init
docker compose up -d
docker compose ps
Під час першого запуску ініціалізація може тривати кілька хвилин. Перевірте логи scheduler і worker. Усі сервіси повинні перейти до статусу running, а PostgreSQL і Redis — до healthy.
docker compose logs --tail=100 airflow-scheduler
docker compose logs --tail=100 airflow-worker
docker compose exec airflow-scheduler airflow version
docker compose exec airflow-scheduler airflow db check
Конфігурація Airflow, CeleryExecutor і SSL
Тестовий DAG
Створимо мінімальний DAG, який підтверджує роботу scheduler, черги Celery і worker. Він запускається вручну, тому не створює постійного навантаження на сервер. В Airflow 3 використовуйте актуальний SDK для декораторів DAG і task.
cat > /opt/airflow/dags/healthcheck_dag.py <<'EOF'
from datetime import datetime
from airflow.sdk import dag, task
@dag(
dag_id="healthcheck_celery",
start_date=datetime(2025, 1, 1),
schedule=None,
catchup=False,
tags=["system"],
)
def healthcheck_celery():
@task
def check_worker():
return "CeleryExecutor worker completed the task successfully"
check_worker()
healthcheck_celery()
EOF
cd /opt/airflow
docker compose restart airflow-scheduler airflow-dag-processor
Через 30–90 секунд DAG з’явиться в інтерфейсі. До налаштування SSL можна перевірити API локально із сервера. Код відповіді 200 або JSON-структура з компонентами стану означає, що API server відповідає.
curl -fsS http://127.0.0.1:8080/api/v2/monitor/health | jq
docker compose exec airflow-scheduler airflow dags list | grep healthcheck_celery
Встановлення Caddy для HTTPS
Caddy автоматично отримує та оновлює сертифікати Let's Encrypt. Для цього домен уже повинен вказувати на сервер, а порти 80 і 443 мають бути відкриті в UFW і на рівні панелі провайдера. Не запускайте другий вебсервер на цих самих портах.
sudo apt install -y debian-keyring debian-archive-keyring apt-transport-https
curl -1sLf 'https://dl.cloudsmith.io/public/caddy/stable/gpg.key' | \
sudo gpg --dearmor -o /usr/share/keyrings/caddy-stable-archive-keyring.gpg
curl -1sLf 'https://dl.cloudsmith.io/public/caddy/stable/debian.deb.txt' | \
sudo tee /etc/apt/sources.list.d/caddy-stable.list
sudo apt update
sudo apt install -y caddy
caddy version
Створіть Caddyfile. Замініть домен і email. Наведені нижче заголовки забороняють вбудовування інтерфейсу в iframe і вимикають визначення MIME-типу браузером. Airflow залишається на localhost, тому Caddy є єдиною публічною точкою входу.
sudo tee /etc/caddy/Caddyfile > /dev/null <<'EOF'
{
email [email protected]
}
airflow.example.com {
encode zstd gzip
reverse_proxy 127.0.0.1:8080
header {
X-Content-Type-Options "nosniff"
X-Frame-Options "DENY"
Referrer-Policy "strict-origin-when-cross-origin"
-Server
}
log {
output file /var/log/caddy/airflow-access.log
format json
}
}
EOF
sudo mkdir -p /var/log/caddy
sudo chown caddy:caddy /var/log/caddy
sudo caddy validate --config /etc/caddy/Caddyfile
sudo systemctl reload caddy
sudo systemctl enable caddy
Перевірте видачу сертифіката та зворотний проксі. У відповіді має бути рядок статусу HTTP/2 200 або перенаправлення на сторінку входу. Якщо сертифікат не видається, спочатку перевірте DNS і доступність порту 80 ззовні.
curl -I https://airflow.example.com
sudo journalctl -u caddy -n 100 --no-pager
sudo ss -tulpn | grep -E ':80|:443|:8080'
Параметри CeleryExecutor
У compose-файлі встановлено parallelism=8, max_active_tasks_per_dag=4 і worker_concurrency=2. Це безпечна відправна точка для VPS із 4 vCPU та 8 ГБ RAM. Загальна кількість завдань, що одночасно виконуються, обмежується меншим із цих значень і доступною кількістю worker slots.
Не підвищуйте worker_concurrency лише заради високого числа. Якщо кожне завдання використовує pandas, Selenium, Chrome, dbt або кількасот мегабайт пам’яті, два одночасні процеси вже можуть зайняти більшу частину RAM. Спочатку виміряйте фактичне споживання через docker stats, а потім збільшуйте значення по одному параметру.
cd /opt/airflow
docker stats --no-stream
docker compose exec airflow-worker celery --app airflow.providers.celery.executors.celery_executor.app inspect ping
Безпечне зберігання підключень
Не записуйте API-ключі, DSN баз даних і паролі у вихідний код DAG. Для невеликого self-hosted-інстансу можна створювати Airflow Connections через вебінтерфейс: значення буде зашифровано Fernet key у PostgreSQL. Для production-середовища краще підключити зовнішній backend секретів: HashiCorp Vault, AWS Secrets Manager, Google Secret Manager або сумісний корпоративний сервіс.
Якщо Fernet key втрачено, наявні зашифровані значення Connection і Variable буде неможливо розшифрувати. Тому додавайте файл .env до зашифрованої резервної копії, але не зберігайте його в публічному репозиторії. Під час ротації Fernet key використовуйте штатну команду Airflow для ротації, а не просту заміну змінної.
Бекапи та обслуговування
Бекап Docker volume сам по собі недостатній. Для відновлення Airflow потрібні база PostgreSQL, DAG-файли, плагіни, конфігурація, файл .env і відомості про версію образу. Redis зазвичай не є джерелом істини: незавершені повідомлення черги можна втратити, але стан завдань і метадані зберігаються в PostgreSQL.
Що потрібно резервувати
- Логічний дамп PostgreSQL через
pg_dump. - Каталоги
dags,plugins,configіscripts. - Файл
.envіз Fernet key, API secret і паролями. docker-compose.yml,Dockerfileіrequirements.txt.- За потреби — каталог
logs, якщо логи потрібні для аудиту. - Конфігурацію Caddy з
/etc/caddy/Caddyfile.
Для зберігання використовуємо restic — інструмент дедуплікованих зашифрованих бекапів. Репозиторій може знаходитися в S3-сумісному об’єктному сховищі або на окремому сервері через SFTP. Нижче показано варіант із S3 API; змінні доступу повинні мати дозволи лише для конкретного bucket.
Встановлення та налаштування restic
sudo apt install -y restic
sudo mkdir -p /root/.config/restic
sudo chmod 700 /root/.config/restic
sudo tee /root/.config/restic/airflow.env > /dev/null <<'EOF'
export RESTIC_REPOSITORY="s3:https://s3.example.com/airflow-backups"
export RESTIC_PASSWORD="CHANGE_TO_A_LONG_RANDOM_RESTIC_PASSWORD"
export AWS_ACCESS_KEY_ID="CHANGE_ME"
export AWS_SECRET_ACCESS_KEY="CHANGE_ME"
EOF
sudo chmod 600 /root/.config/restic/airflow.env
sudo bash -c 'source /root/.config/restic/airflow.env && restic init'
Перший запуск restic init створює репозиторій. Збережіть пароль репозиторію поза сервером: у менеджері секретів або офлайн-сховищі. Без нього зашифровані резервні копії відновити неможливо.
Скрипт резервного копіювання
Скрипт спочатку створює стиснений дамп PostgreSQL усередині контейнера, потім передає дані в restic. Дамп створюється в /opt/airflow/backups і автоматично видаляється після успішного завершення, щоб не накопичувати копії на VPS.
sudo tee /opt/airflow/scripts/backup-airflow.sh > /dev/null <<'EOF'
#!/usr/bin/env bash
set -euo pipefail
AIRFLOW_DIR="/opt/airflow"
BACKUP_DIR="${AIRFLOW_DIR}/backups"
DATE="$(date +%F_%H-%M-%S)"
DUMP_FILE="${BACKUP_DIR}/postgres_${DATE}.dump.gz"
source /root/.config/restic/airflow.env
mkdir -p "${BACKUP_DIR}"
cd "${AIRFLOW_DIR}"
docker compose exec -T postgres \
pg_dump -U airflow -d airflow --format=custom | gzip -9 > "${DUMP_FILE}"
restic backup \
"${DUMP_FILE}" \
"${AIRFLOW_DIR}/dags" \
"${AIRFLOW_DIR}/plugins" \
"${AIRFLOW_DIR}/config" \
"${AIRFLOW_DIR}/scripts" \
"${AIRFLOW_DIR}/docker-compose.yml" \
"${AIRFLOW_DIR}/Dockerfile" \
"${AIRFLOW_DIR}/requirements.txt" \
"${AIRFLOW_DIR}/.env" \
/etc/caddy/Caddyfile \
--tag airflow \
--tag postgres
restic forget --prune \
--keep-daily 14 \
--keep-weekly 8 \
--keep-monthly 12
rm -f "${DUMP_FILE}"
EOF
sudo chmod 700 /opt/airflow/scripts/backup-airflow.sh
sudo /opt/airflow/scripts/backup-airflow.sh
Після першого бекапу перевірте його вміст. Команда повинна показати DAG-файли, .env, Caddyfile і PostgreSQL dump. Раз на місяць виконуйте тестове відновлення на окремому сервері або в окремому каталозі — бекап, який не перевіряли, не вважається надійним.
sudo bash -c 'source /root/.config/restic/airflow.env && restic snapshots'
sudo bash -c 'source /root/.config/restic/airflow.env && restic check'
Розклад через cron
Запускайте бекап уночі, наприклад о 03:30. Cron перенаправляє stdout і stderr в окремий лог, який корисний під час розслідування помилки доступу до S3 або нестачі місця.
sudo crontab -e
30 3 * /opt/airflow/scripts/backup-airflow.sh >> /var/log/airflow-backup.log 2>&1
Перевірте, що cron встановлений і активний. Якщо сервер був вимкнений у момент виконання, звичайний cron не надолужить пропущене завдання. Для суворіших вимог замініть cron на systemd timer з Persistent=true.
sudo systemctl status cron
sudo tail -n 50 /var/log/airflow-backup.log
Оновлення Airflow і Docker-образів
Для окремого VPS безпечніше використовувати maintenance window. Спочатку прочитайте changelog цільової версії Airflow, зробіть свіжий бекап і перевірте оновлення на staging-сервері. Оновлення Airflow може містити міграцію схеми PostgreSQL, тому відкат контейнера до старої версії після міграції не завжди безпечний.
cd /opt/airflow
docker compose pull postgres redis
docker compose build --pull
docker compose up -d --no-deps postgres redis
docker compose run --rm airflow-init
docker compose up -d
docker compose ps
docker compose logs --tail=100 airflow-scheduler
Для оновлення Airflow змініть тег у Dockerfile і URL constraints на одну конкретну протестовану версію. Не оновлюйте major-версії PostgreSQL заміною тега образу: перехід, наприклад, із PostgreSQL 16 на 17 потребує окремої процедури міграції даних.
Troubleshooting і FAQ
Чому Airflow API server постійно перезапускається?
Спочатку виконайте docker compose logs airflow-apiserver і перевірте, чи завершилася ініціалізація бази. Частою причиною є запуск API server до міграції або неможливість підключення до PostgreSQL через неправильний пароль у .env. Перевірте docker compose exec postgres pg_isready -U airflow -d airflow, потім повторно запустіть docker compose run --rm airflow-init. Не видаляйте volume PostgreSQL, якщо в ньому є робочі дані.
Завдання залишаються у стані queued і не запускаються worker?
Зазвичай це означає проблему Celery worker, Redis або несумісність налаштувань broker URL. Перевірте статус worker через docker compose logs airflow-worker і переконайтеся, що Redis відповідає на команду redis-cli ping усередині контейнера. Також перевірте однакові значення AIRFLOW__CELERY__BROKER_URL у scheduler і worker. Якщо worker було зупинено під час виконання завдання, перезапустіть його; завдання з правильно налаштованими retries будуть повторені планувальником.
Чому DAG не видно у web-інтерфейсі?
Перевірте синтаксис Python-файлу та логи сервісу airflow-dag-processor. Помилка імпорту бібліотеки, якої немає в Dockerfile, робить DAG невидимим або позначає його як broken. Виконайте docker compose exec airflow-scheduler airflow dags list-import-errors. Також переконайтеся, що файл знаходиться в /opt/airflow/dags, має розширення .py і доступний користувачу контейнера.
Чому Caddy не отримує SSL-сертифікат?
Перевірте, що A-запис домену вказує на IP VPS, а порти 80 і 443 доступні з інтернету. Команда sudo ss -tulpn повинна показувати Caddy на цих портах. Якщо раніше було встановлено Nginx або Apache, зупиніть його або переналаштуйте. Перегляньте помилки через sudo journalctl -u caddy -n 100. Cloudflare та інші DNS-проксі також можуть впливати на перевірку; для діагностики тимчасово використовуйте звичайний DNS-запис.
Яка конфігурація VPS мінімально підійде?
Для тестів і кількох легких DAG мінімально підійдуть 2 vCPU, 4 ГБ RAM і 50 ГБ SSD. Однак для робочого Airflow із PostgreSQL, Redis і CeleryExecutor краще починати з 4 vCPU, 8 ГБ RAM і 80–100 ГБ NVMe. Залишайте щонайменше 20–30% вільного дискового простору для логів, Docker-образів, тимчасових файлів і дампів бази. Якщо завдання використовують pandas або браузерну автоматизацію, важливіше збільшити RAM.
Що вибрати — VPS чи dedicated для цього завдання?
VPS підходить для більшості невеликих і середніх інсталяцій Airflow: розкладів, API-інтеграцій, ETL помірного обсягу та кількох worker-процесів. Dedicated-сервер потрібен за постійного навантаження на CPU, великих обсягів локальних даних, потреби в пам’яті від 32 ГБ, GPU-завдань або вимог до стабільно високої продуктивності диска. Альтернативний шлях — залишити Airflow на VPS, а важкі обчислення передавати у зовнішні Kubernetes jobs, Spark, хмарні batch-сервіси або на окремі workers.
Що робити, якщо на сервері закінчується пам’ять і контейнери отримують OOMKilled?
Виконайте docker stats --no-stream, free -h і dmesg -T | grep -i oom, щоб визначити винуватця. Найчастіше пам’ять споживає Python-завдання, а не сам scheduler. Зменште AIRFLOW__CELERY__WORKER_CONCURRENCY до 1, обмежте кількість паралельних завдань і додайте RAM. Swap може тимчасово захистити від аварійного завершення, але не замінює пам’ять: інтенсивна робота через swap робить scheduler нестабільним.
Як відновити Airflow з бекапу після втрати сервера?
На новому сервері встановіть Docker і restic, відновіть файли з репозиторію в /opt/airflow, потім запустіть лише PostgreSQL. Розпакуйте PostgreSQL dump та імпортуйте його через pg_restore у порожню базу. Після цього запустіть airflow-init, а потім інші сервіси. Важливо відновити оригінальний .env із тим самим Fernet key: без нього збережені підключення та змінні неможливо буде розшифрувати.
Висновки та наступні кроки
Тепер на VPS працює орієнтована на production інсталяція Apache Airflow: PostgreSQL зберігає метадані, Redis обслуговує CeleryExecutor, окремі worker-контейнери виконують DAG, а Caddy захищає інтерфейс HTTPS-сертифікатом. Конфігурація не відкриває внутрішні сервіси в інтернет і включає резервне копіювання критичних даних.
- Перенесіть DAG у Git-репозиторій і налаштуйте CI-перевірки імпорту, лінтери та тести перед доставкою файлів на сервер.
- Підключіть зовнішній backend секретів, якщо в Airflow з’являться production API-ключі, токени та доступи до баз даних.
- Із ростом навантаження винесіть Celery workers на окремі сервери, налаштуйте remote logging в об’єктне сховище та додайте моніторинг через Prometheus, Grafana або зовнішній сервіс алертів.