eco Початковий Туторіал

Встановлення Apache Airflow на VPS: Docker, PostgreSQL, CeleryExecutor, SSL і резервні копії

Ми отримуємо комісію, коли ви купуєте за посиланнями на цій сторінці.

calendar_month Nov 01, 2026 schedule 19 хв. читання visibility 826 переглядів
Установка Apache Airflow на VPS: Docker, PostgreSQL, CeleryExecutor, SSL и бэкапы
dns Немає сервера під цю інструкцію? Vultr, DigitalOcean, Contabo sellАкція WebHosting UK: −10% на керовані VPS до 30.11 Отримати →

Встановлення Apache Airflow на VPS: Docker, PostgreSQL, CeleryExecutor, SSL і резервні копії

Коротко

У цьому посібнику ми розгорнемо Apache Airflow 3 на VPS через Docker Compose: PostgreSQL зберігатиме метадані, Redis стане брокером завдань для CeleryExecutor, Caddy автоматично видасть SSL-сертифікат, а резервні копії PostgreSQL, DAG-файлів і конфігурації надсилатимуться до зовнішнього S3-сховища.

  • Airflow працюватиме у відмовостійкій для невеликих команд схемі з CeleryExecutor.
  • Вебінтерфейс буде доступний через HTTPS на власному домені.
  • PostgreSQL, Redis, scheduler, worker і API-сервер будуть ізольовані Docker Compose.
  • Секрети зберігатимуться у файлі .env, а не в Docker Compose або DAG-коді.
  • Резервні копії PostgreSQL і файлів Airflow виконуватимуться автоматично за розкладом.
  • Конфігурація розрахована на Ubuntu Server 24.04 LTS і Apache Airflow 3.0.x.

Що ми налаштовуємо і навіщо

Apache Airflow — це платформа для оркестрації завдань і пайплайнів. В Airflow розробник описує процес обробки даних як DAG — орієнтований ациклічний граф. Кожне завдання має залежності, розклад, ретраї, логи та статус. Наприклад, Airflow може щоночі вивантажувати дані з CRM, запускати Python-трансформації, завантажувати результат у PostgreSQL і повідомляти команду про помилку.

Airflow підходить не лише для класичного ETL. Його використовують для запуску ML-пайплайнів, періодичних API-інтеграцій, генерації звітів, резервного копіювання, синхронізації SaaS-сервісів, обробки файлів і завдань DevOps. Головна умова: процес має складатися з повторюваних кроків, для яких важливі розклад, спостережуваність і повторний запуск.

У базовому режимі Airflow може працювати з LocalExecutor, коли scheduler запускає завдання на тому самому сервері. Для тестового середовища цього достатньо. Однак для production-сценарію з кількома одночасними DAG, складними Python-завданнями або кількома користувачами розумніше використовувати CeleryExecutor. Він відокремлює планування від виконання: scheduler ставить завдання в чергу Redis, а окремі Celery workers забирають і виконують їх.

Підсумкова архітектура

Компонент Призначення Де працює
Airflow API Server Вебінтерфейс, REST API та автентифікація Docker-контейнер
Airflow Scheduler Розбирає DAG, створює запуски та ставить завдання в чергу Docker-контейнер
Airflow DAG Processor Окремо обробляє Python-файли DAG Docker-контейнер
Celery Worker Виконує завдання DAG Docker-контейнер
PostgreSQL 16 Зберігає користувачів, стан завдань, підключення та метадані Docker volume
Redis 7 Черга завдань Celery і тимчасове сховище повідомлень Docker volume
Caddy Reverse proxy, HTTPS і автоматичне оновлення TLS-сертифікатів Хостова система

Що ви отримаєте після налаштування

  • Доступ до Airflow за адресою на кшталт https://airflow.example.com.
  • Окрему базу PostgreSQL замість вбудованого SQLite.
  • Чергу завдань і паралельне виконання через CeleryExecutor.
  • Персистентні Docker volumes для PostgreSQL, Redis і логів.
  • Каталог для DAG, плагінів і конфігурації на хості.
  • HTTPS без ручного випуску та продовження сертифікатів.
  • Автоматичні зашифровані резервні копії у зовнішнє сховище.

Cloud-managed Airflow або self-hosted на VPS

Managed-варіанти знімають частину експлуатаційних завдань: провайдер оновлює інфраструктуру, зберігає метадані та іноді масштабує workers. Це зручно для великих команд, але зазвичай обмежує версії, мережеву топологію, встановлення системних бібліотек і кастомних Python-залежностей. Вартість також може помітно зрости за постійної роботи воркерів.

Self-hosted Apache Airflow на VPS дає повний контроль. Можна додавати системні пакети в образ, використовувати закриті мережі, підключати локальні сервіси, фіксувати версію Python-пакетів і зберігати дані у вибраній юрисдикції. Ціна такого контролю — необхідність самостійно стежити за оновленнями, резервними копіями, секретами та доступністю сервера.

Не використовуйте Airflow як універсальний сервіс черг у реальному часі. Він призначений для запланованих і пакетних процесів. Для обробки тисяч коротких подій на секунду частіше потрібні Kafka, RabbitMQ, NATS або спеціалізований worker-сервіс.

dnsСервер під цю інструкцію

Відповідні тарифи перевірених провайдерів, ціни оновлюються щодня.

sell WebHosting UK: −10% на керовані VPS · до 30.11 Отримати →

Порівняти:Vultr vs DigitalOceanVultr vs ContaboУсі VPS за ціною

Партнерські посилання: за покупку ми можемо отримати комісію, ціна для вас не змінюється.

Яка конфігурація VPS потрібна для цього завдання

Схема: Какой VPS-конфиг нужен под эту задачу
Схема: Яка конфігурація VPS потрібна для цього завдання

Споживання ресурсів Airflow залежить не лише від кількості DAG. Важливі частота запуску, обсяг логів, кількість одночасних завдань, бібліотеки Python, а також навантаження на PostgreSQL. Навіть за невеликої кількості пайплайнів кілька сервісів Airflow постійно працюють у пам’яті: API server, scheduler, DAG processor, worker, PostgreSQL і Redis.

Сценарій vCPU RAM NVMe SSD Відповідний режим
Тести, 1–5 легких DAG 2 4 ГБ 40–60 ГБ LocalExecutor або Celery з одним worker
Невеликий production, 5–30 DAG 4 8 ГБ 80–120 ГБ CeleryExecutor, 1–2 workers
Команда та регулярні ETL-процеси 8 16 ГБ 160 ГБ і більше CeleryExecutor, кілька workers
Складні ML/аналітичні завдання 8–16+ 32 ГБ+ 300 ГБ+ Окремі workers або dedicated

Для старту з production-навантаженням розумна конфігурація — 4 vCPU, 8 ГБ RAM, 100 ГБ NVMe і порт не нижче 100 Мбіт/с. Цього достатньо для Airflow, PostgreSQL, Redis і одного Celery worker із помірним паралелізмом. Такий сервер можна використовувати як VPS із зазначеними характеристиками, якщо завдання не потребують великого обсягу пам’яті або локальної обробки десятків гігабайтів даних.

Чому не варто починати з 2 ГБ RAM

На сервері з 2 ГБ пам’яті Docker-контейнери можуть формально запуститися, але під час імпорту складних бібліотек, міграцій бази або одночасного виконання завдань система почне використовувати swap. У результаті scheduler пропускає heartbeats, worker отримує сигнал OOM Killer, а інтерфейс Airflow стає повільним. Мінімум 4 ГБ підходить лише для стенду розробки; для робочих DAG краще планувати 8 ГБ.

Коли потрібен dedicated, а не VPS

Dedicated-сервер виправданий, якщо завдання постійно навантажують CPU, потребують 32–64 ГБ RAM, обробляють великі локальні файли, використовують GPU або чутливі до передбачуваної продуктивності диска. Він також корисний, якщо Airflow запускає багато складних workers на одній машині й ви не хочете конкурувати за ресурси з іншими віртуальними машинами на хості.

Якщо ж Airflow лише координує зовнішні сервіси — API, хмарні бази, об’єктні сховища та serverless-завдання — VPS зазвичай достатньо. У цьому випадку основні обчислення виконуються за межами Airflow, а сам сервер зберігає метадані та керує розкладом.

Вибір локації

Локація VPS впливає на затримку до PostgreSQL, S3, корпоративних API та співробітників, які відкривають вебінтерфейс. Розміщуйте сервер ближче до основної бази даних або приватної мережі, а не лише до користувачів інтерфейсу. Якщо DAG регулярно передає великі файли до S3-сумісного сховища, виміряйте мережеву затримку та вартість вихідного трафіку.

Для персональних і фінансових даних враховуйте вимоги юрисдикції. У будь-якому разі не відкривайте PostgreSQL, Redis і внутрішні порти Airflow в інтернет: зовнішній доступ має бути лише до SSH, HTTP і HTTPS.

Підготовка сервера

Схема: Подготовка сервера
Схема: Підготовка сервера

Нижче передбачається чистий сервер з Ubuntu Server 24.04 LTS, публічною IPv4-адресою та доменом airflow.example.com. До налаштування Caddy створіть DNS-запис типу A, що вказує на IP-адресу VPS. Для IPv6 додайте запис AAAA, лише якщо сервер справді приймає вхідний IPv6-трафік.

Підключення та оновлення системи

Підключіться початковим користувачем, якого надав провайдер, а потім оновіть пакети. Перезавантаження потрібне, якщо оновилося ядро або критичні системні бібліотеки.

ssh root@SERVER_IP

apt update && apt upgrade -y
apt install -y curl wget ca-certificates gnupg lsb-release \
  git vim unzip htop jq ufw fail2ban cron

reboot

Після перезавантаження підключіться знову та створіть окремого користувача. Не виконуйте повсякденне адміністрування від root: це знижує ризик випадково видалити системні файли або виконати шкідливу команду з максимальними правами.

adduser deploy
usermod -aG sudo deploy

mkdir -p /home/deploy/.ssh
chmod 700 /home/deploy/.ssh
cp /root/.ssh/authorized_keys /home/deploy/.ssh/authorized_keys
chown -R deploy:deploy /home/deploy/.ssh
chmod 600 /home/deploy/.ssh/authorized_keys

Перевірте вхід новим користувачем в окремому терміналі. Не закривайте root-сесію, доки не переконаєтеся, що ключ приймається.

ssh deploy@SERVER_IP
sudo -v
exit

Захист SSH

Вимкніть автентифікацію за паролем і прямий вхід root лише після перевірки доступу за ключем. Створіть окремий drop-in-файл, щоб не редагувати основний конфігураційний файл OpenSSH.

sudo tee /etc/ssh/sshd_config.d/99-hardening.conf > /dev/null <<'EOF'
PasswordAuthentication no
KbdInteractiveAuthentication no
PermitRootLogin no
PubkeyAuthentication yes
MaxAuthTries 3
X11Forwarding no
EOF

sudo sshd -t && sudo systemctl restart ssh

Налаштуйте UFW. Docker публікує порти через власні правила iptables, тому надалі API Airflow буде прив’язаний лише до 127.0.0.1, а не до публічного інтерфейсу. Зовнішній доступ отримає лише Caddy на портах 80 і 443.

sudo ufw default deny incoming
sudo ufw default allow outgoing
sudo ufw allow OpenSSH
sudo ufw allow 80/tcp
sudo ufw allow 443/tcp
sudo ufw enable
sudo ufw status verbose

Fail2ban блокуватиме IP-адреси з повторюваними невдалими спробами входу через SSH. Для автентифікації за ключем це додатковий, а не основний рівень захисту.

sudo systemctl enable --now fail2ban
sudo fail2ban-client status sshd

Системні ліміти та каталог проєкту

Airflow створює багато файлів журналів, а PostgreSQL використовує файлові дескриптори. Підвищимо ліміт відкритих файлів для користувача, від імені якого працюватиме Docker Compose. Потім створимо структуру каталогів.

sudo tee /etc/security/limits.d/99-airflow.conf > /dev/null <<'EOF'
deploy soft nofile 65535
deploy hard nofile 65535
EOF

sudo mkdir -p /opt/airflow/{dags,logs,plugins,config,backups,scripts}
sudo chown -R deploy:deploy /opt/airflow
sudo chmod 750 /opt/airflow

sudo -iu deploy
cd /opt/airflow

Усі наступні команди Docker Compose виконуйте користувачем deploy з каталогу /opt/airflow. Не зберігайте DAG, конфігурації та резервні копії в домашньому каталозі root: це ускладнює керування правами доступу та відновлення.

Встановлення ПЗ — покроково

Схема: Встановлення ПЗ — покроково
Схема: Встановлення ПЗ — покроково

У цій конфігурації використовуються Docker Engine 27+, Docker Compose Plugin 2.30+, PostgreSQL 16, Redis 7.4 та Apache Airflow 3.0.2. Версію Airflow зафіксовано навмисно: автоматичне завантаження тега latest небезпечне, оскільки велике оновлення може змінити схему бази даних і поведінку API.

Встановлення Docker Engine і Docker Compose

Додамо офіційний репозиторій Docker для Ubuntu 24.04. Команди встановлюють рушій контейнерів, CLI, Buildx і Compose Plugin.

sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | \
  sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg

echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] \
  https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io \
  docker-buildx-plugin docker-compose-plugin

Додайте користувача deploy до групи Docker. Після цього необхідно повторно ввійти через SSH, інакше команда docker вимагатиме sudo.

sudo usermod -aG docker deploy
exit

ssh deploy@SERVER_IP
docker version
docker compose version

Налаштування Docker daemon

Обмежимо зростання JSON-логів контейнерів. Без ротації Docker-логи можуть заповнити диск навіть у разі помірної помилки в завданні Python.

sudo tee /etc/docker/daemon.json > /dev/null <<'EOF'
{
  "log-driver": "local",
  "log-opts": {
    "max-size": "20m",
    "max-file": "5"
  },
  "live-restore": true
}
EOF

sudo systemctl restart docker
docker info | grep -E "Logging Driver|Live Restore"

Створення секретів Airflow

Airflow використовує Fernet key для шифрування Connection passwords і Variable values у базі даних. API secret key потрібен для підпису сесій і токенів. PostgreSQL і Redis також повинні мати випадкові паролі. Значення не можна комітити в Git і публікувати в тикетах.

cd /opt/airflow

FERNET_KEY=$(docker run --rm apache/airflow:3.0.2 \
  python -c "from cryptography.fernet import Fernet; print(Fernet.generate_key().decode())")

API_SECRET=$(openssl rand -hex 32)
POSTGRES_PASSWORD=$(openssl rand -base64 32 | tr -d '\n')
REDIS_PASSWORD=$(openssl rand -base64 32 | tr -d '\n')
ADMIN_PASSWORD=$(openssl rand -base64 24 | tr -d '\n')

printf '%s\n' "Generated secrets are ready."

Створіть файл .env. Замініть домен, email адміністратора та вставте згенеровані значення. Пароль адміністратора можна замінити на власний довгий пароль, який зберігатиметься в менеджері паролів.

cat > /opt/airflow/.env <<EOF
AIRFLOW_UID=$(id -u)
AIRFLOW_GID=$(id -g)

POSTGRES_DB=airflow
POSTGRES_USER=airflow
POSTGRES_PASSWORD=${POSTGRES_PASSWORD}

REDIS_PASSWORD=${REDIS_PASSWORD}

AIRFLOW_FERNET_KEY=${FERNET_KEY}
AIRFLOW_API_SECRET_KEY=${API_SECRET}

AIRFLOW_ADMIN_USERNAME=admin
AIRFLOW_ADMIN_FIRSTNAME=Airflow
AIRFLOW_ADMIN_LASTNAME=Admin
[email protected]
AIRFLOW_ADMIN_PASSWORD=${ADMIN_PASSWORD}

AIRFLOW_DOMAIN=airflow.example.com
EOF

chmod 600 /opt/airflow/.env

Підготовка користувацького образу

Офіційний образ Airflow уже містить основний пакет, але реальні DAG майже завжди потребують додаткових Python-бібліотек. Не встановлюйте їх вручну в запущений контейнер: зміни зникнуть після його повторного створення. Натомість створіть власний образ.

cat > /opt/airflow/requirements.txt <<'EOF'
requests==2.32.3
pandas==2.2.3
psycopg[binary]==3.2.3
EOF

cat > /opt/airflow/Dockerfile <<'EOF'
FROM apache/airflow:3.0.2

COPY requirements.txt /requirements.txt
RUN pip install --no-cache-dir --constraint \
    "https://raw.githubusercontent.com/apache/airflow/constraints-3.0.2/constraints-3.12.txt" \
    -r /requirements.txt
EOF

Обмеження Airflow критично важливі: вони фіксують сумісні версії бібліотек. У разі додавання провайдерів, наприклад для AWS, Google Cloud, Slack або Kubernetes, додавайте їх до requirements.txt, перебудовуйте образ і тестуйте DAG в окремому середовищі.

Створення Docker Compose-файлу

Наступний compose-файл запускає всі сервіси. Порт API Airflow опубліковано лише на 127.0.0.1:8080; це унеможливлює прямий доступ з інтернету. PostgreSQL і Redis взагалі не публікують порти на хост.

cat > /opt/airflow/docker-compose.yml <<'EOF'
x-airflow-common: &airflow-common
  build:
    context: .
  env_file:
    - .env
  user: "${AIRFLOW_UID}:0"
  restart: unless-stopped
  depends_on:
    postgres:
      condition: service_healthy
    redis:
      condition: service_healthy
  environment:
    AIRFLOW__CORE__EXECUTOR: CeleryExecutor
    AIRFLOW__DATABASE__SQL_ALCHEMY_CONN: postgresql+psycopg://airflow:${POSTGRES_PASSWORD}@postgres/airflow
    AIRFLOW__CELERY__BROKER_URL: redis://:${REDIS_PASSWORD}@redis:6379/0
    AIRFLOW__CELERY__RESULT_BACKEND: db+postgresql://airflow:${POSTGRES_PASSWORD}@postgres/airflow
    AIRFLOW__CORE__FERNET_KEY: ${AIRFLOW_FERNET_KEY}
    AIRFLOW__API__SECRET_KEY: ${AIRFLOW_API_SECRET_KEY}
    AIRFLOW__CORE__LOAD_EXAMPLES: "false"
    AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION: "true"
    AIRFLOW__CORE__PARALLELISM: "8"
    AIRFLOW__CORE__MAX_ACTIVE_TASKS_PER_DAG: "4"
    AIRFLOW__CELERY__WORKER_CONCURRENCY: "2"
    AIRFLOW__LOGGING__REMOTE_LOGGING: "false"
  volumes:
    - ./dags:/opt/airflow/dags
    - ./logs:/opt/airflow/logs
    - ./plugins:/opt/airflow/plugins
    - ./config:/opt/airflow/config

services:
  postgres:
    image: postgres:16.6-alpine
    restart: unless-stopped
    env_file:
      - .env
    environment:
      POSTGRES_DB: ${POSTGRES_DB}
      POSTGRES_USER: ${POSTGRES_USER}
      POSTGRES_PASSWORD: ${POSTGRES_PASSWORD}
    volumes:
      - postgres-db-volume:/var/lib/postgresql/data
    healthcheck:
      test: ["CMD-SHELL", "pg_isready -U airflow -d airflow"]
      interval: 10s
      timeout: 5s
      retries: 10

  redis:
    image: redis:7.4-alpine
    restart: unless-stopped
    env_file:
      - .env
    command: ["redis-server", "--appendonly", "yes", "--requirepass", "${REDIS_PASSWORD}"]
    volumes:
      - redis-data:/data
    healthcheck:
      test: ["CMD-SHELL", "redis-cli -a \"$${REDIS_PASSWORD}\" ping | grep PONG"]
      interval: 10s
      timeout: 5s
      retries: 10

  airflow-init:
    <<: airflow-common
    restart: "no"
    command:
      - bash
      - -c
      - |
        airflow db migrate
        airflow users create \
          --username "$${AIRFLOW_ADMIN_USERNAME}" \
          --firstname "$${AIRFLOW_ADMIN_FIRSTNAME}" \
          --lastname "$${AIRFLOW_ADMIN_LASTNAME}" \
          --role Admin \
          --email "$${AIRFLOW_ADMIN_EMAIL}" \
          --password "$${AIRFLOW_ADMIN_PASSWORD}" || true

  airflow-apiserver:
    <<: airflow-common
    command: api-server
    ports:
      - "127.0.0.1:8080:8080"
    healthcheck:
      test: ["CMD-SHELL", "curl --fail http://localhost:8080/api/v2/monitor/health || exit 1"]
      interval: 30s
      timeout: 10s
      retries: 5

  airflow-scheduler:
    <<: airflow-common
    command: scheduler

  airflow-dag-processor:
    <<: airflow-common
    command: dag-processor

  airflow-worker:
    <<: airflow-common
    command: celery worker
    stop_grace_period: 10m

  airflow-triggerer:
    <<: airflow-common
    command: triggerer

volumes:
  postgres-db-volume:
  redis-data:
EOF

Перед запуском перевірте, чи Compose коректно підставляє змінні та чи YAML не містить синтаксичних помилок.

cd /opt/airflow
docker compose config > /tmp/airflow-rendered.yml
docker compose build
docker compose up airflow-init

docker compose up -d
docker compose ps

Під час першого запуску ініціалізація може тривати кілька хвилин. Перевірте логи scheduler і worker. Усі сервіси повинні перейти до статусу running, а PostgreSQL і Redis — до healthy.

docker compose logs --tail=100 airflow-scheduler
docker compose logs --tail=100 airflow-worker
docker compose exec airflow-scheduler airflow version
docker compose exec airflow-scheduler airflow db check

Конфігурація Airflow, CeleryExecutor і SSL

Схема: Конфігурація Airflow, CeleryExecutor і SSL
Схема: Конфігурація Airflow, CeleryExecutor і SSL

Тестовий DAG

Створимо мінімальний DAG, який підтверджує роботу scheduler, черги Celery і worker. Він запускається вручну, тому не створює постійного навантаження на сервер. В Airflow 3 використовуйте актуальний SDK для декораторів DAG і task.

cat > /opt/airflow/dags/healthcheck_dag.py <<'EOF'
from datetime import datetime
from airflow.sdk import dag, task

@dag(
    dag_id="healthcheck_celery",
    start_date=datetime(2025, 1, 1),
    schedule=None,
    catchup=False,
    tags=["system"],
)
def healthcheck_celery():
    @task
    def check_worker():
        return "CeleryExecutor worker completed the task successfully"

    check_worker()

healthcheck_celery()
EOF

cd /opt/airflow
docker compose restart airflow-scheduler airflow-dag-processor

Через 30–90 секунд DAG з’явиться в інтерфейсі. До налаштування SSL можна перевірити API локально із сервера. Код відповіді 200 або JSON-структура з компонентами стану означає, що API server відповідає.

curl -fsS http://127.0.0.1:8080/api/v2/monitor/health | jq
docker compose exec airflow-scheduler airflow dags list | grep healthcheck_celery

Встановлення Caddy для HTTPS

Caddy автоматично отримує та оновлює сертифікати Let's Encrypt. Для цього домен уже повинен вказувати на сервер, а порти 80 і 443 мають бути відкриті в UFW і на рівні панелі провайдера. Не запускайте другий вебсервер на цих самих портах.

sudo apt install -y debian-keyring debian-archive-keyring apt-transport-https

curl -1sLf 'https://dl.cloudsmith.io/public/caddy/stable/gpg.key' | \
  sudo gpg --dearmor -o /usr/share/keyrings/caddy-stable-archive-keyring.gpg

curl -1sLf 'https://dl.cloudsmith.io/public/caddy/stable/debian.deb.txt' | \
  sudo tee /etc/apt/sources.list.d/caddy-stable.list

sudo apt update
sudo apt install -y caddy
caddy version

Створіть Caddyfile. Замініть домен і email. Наведені нижче заголовки забороняють вбудовування інтерфейсу в iframe і вимикають визначення MIME-типу браузером. Airflow залишається на localhost, тому Caddy є єдиною публічною точкою входу.

sudo tee /etc/caddy/Caddyfile > /dev/null <<'EOF'
{
    email [email protected]
}

airflow.example.com {
    encode zstd gzip

    reverse_proxy 127.0.0.1:8080

    header {
        X-Content-Type-Options "nosniff"
        X-Frame-Options "DENY"
        Referrer-Policy "strict-origin-when-cross-origin"
        -Server
    }

    log {
        output file /var/log/caddy/airflow-access.log
        format json
    }
}
EOF

sudo mkdir -p /var/log/caddy
sudo chown caddy:caddy /var/log/caddy
sudo caddy validate --config /etc/caddy/Caddyfile
sudo systemctl reload caddy
sudo systemctl enable caddy

Перевірте видачу сертифіката та зворотний проксі. У відповіді має бути рядок статусу HTTP/2 200 або перенаправлення на сторінку входу. Якщо сертифікат не видається, спочатку перевірте DNS і доступність порту 80 ззовні.

curl -I https://airflow.example.com
sudo journalctl -u caddy -n 100 --no-pager
sudo ss -tulpn | grep -E ':80|:443|:8080'

Параметри CeleryExecutor

У compose-файлі встановлено parallelism=8, max_active_tasks_per_dag=4 і worker_concurrency=2. Це безпечна відправна точка для VPS із 4 vCPU та 8 ГБ RAM. Загальна кількість завдань, що одночасно виконуються, обмежується меншим із цих значень і доступною кількістю worker slots.

Не підвищуйте worker_concurrency лише заради високого числа. Якщо кожне завдання використовує pandas, Selenium, Chrome, dbt або кількасот мегабайт пам’яті, два одночасні процеси вже можуть зайняти більшу частину RAM. Спочатку виміряйте фактичне споживання через docker stats, а потім збільшуйте значення по одному параметру.

cd /opt/airflow
docker stats --no-stream
docker compose exec airflow-worker celery --app airflow.providers.celery.executors.celery_executor.app inspect ping

Безпечне зберігання підключень

Не записуйте API-ключі, DSN баз даних і паролі у вихідний код DAG. Для невеликого self-hosted-інстансу можна створювати Airflow Connections через вебінтерфейс: значення буде зашифровано Fernet key у PostgreSQL. Для production-середовища краще підключити зовнішній backend секретів: HashiCorp Vault, AWS Secrets Manager, Google Secret Manager або сумісний корпоративний сервіс.

Якщо Fernet key втрачено, наявні зашифровані значення Connection і Variable буде неможливо розшифрувати. Тому додавайте файл .env до зашифрованої резервної копії, але не зберігайте його в публічному репозиторії. Під час ротації Fernet key використовуйте штатну команду Airflow для ротації, а не просту заміну змінної.

Бекапи та обслуговування

Схема: Бекапи та обслуговування
Схема: Бекапи та обслуговування

Бекап Docker volume сам по собі недостатній. Для відновлення Airflow потрібні база PostgreSQL, DAG-файли, плагіни, конфігурація, файл .env і відомості про версію образу. Redis зазвичай не є джерелом істини: незавершені повідомлення черги можна втратити, але стан завдань і метадані зберігаються в PostgreSQL.

Що потрібно резервувати

  • Логічний дамп PostgreSQL через pg_dump.
  • Каталоги dags, plugins, config і scripts.
  • Файл .env із Fernet key, API secret і паролями.
  • docker-compose.yml, Dockerfile і requirements.txt.
  • За потреби — каталог logs, якщо логи потрібні для аудиту.
  • Конфігурацію Caddy з /etc/caddy/Caddyfile.

Для зберігання використовуємо restic — інструмент дедуплікованих зашифрованих бекапів. Репозиторій може знаходитися в S3-сумісному об’єктному сховищі або на окремому сервері через SFTP. Нижче показано варіант із S3 API; змінні доступу повинні мати дозволи лише для конкретного bucket.

Встановлення та налаштування restic

sudo apt install -y restic

sudo mkdir -p /root/.config/restic
sudo chmod 700 /root/.config/restic

sudo tee /root/.config/restic/airflow.env > /dev/null <<'EOF'
export RESTIC_REPOSITORY="s3:https://s3.example.com/airflow-backups"
export RESTIC_PASSWORD="CHANGE_TO_A_LONG_RANDOM_RESTIC_PASSWORD"
export AWS_ACCESS_KEY_ID="CHANGE_ME"
export AWS_SECRET_ACCESS_KEY="CHANGE_ME"
EOF

sudo chmod 600 /root/.config/restic/airflow.env

sudo bash -c 'source /root/.config/restic/airflow.env && restic init'

Перший запуск restic init створює репозиторій. Збережіть пароль репозиторію поза сервером: у менеджері секретів або офлайн-сховищі. Без нього зашифровані резервні копії відновити неможливо.

Скрипт резервного копіювання

Скрипт спочатку створює стиснений дамп PostgreSQL усередині контейнера, потім передає дані в restic. Дамп створюється в /opt/airflow/backups і автоматично видаляється після успішного завершення, щоб не накопичувати копії на VPS.

sudo tee /opt/airflow/scripts/backup-airflow.sh > /dev/null <<'EOF'
#!/usr/bin/env bash
set -euo pipefail

AIRFLOW_DIR="/opt/airflow"
BACKUP_DIR="${AIRFLOW_DIR}/backups"
DATE="$(date +%F_%H-%M-%S)"
DUMP_FILE="${BACKUP_DIR}/postgres_${DATE}.dump.gz"

source /root/.config/restic/airflow.env

mkdir -p "${BACKUP_DIR}"
cd "${AIRFLOW_DIR}"

docker compose exec -T postgres \
  pg_dump -U airflow -d airflow --format=custom | gzip -9 > "${DUMP_FILE}"

restic backup \
  "${DUMP_FILE}" \
  "${AIRFLOW_DIR}/dags" \
  "${AIRFLOW_DIR}/plugins" \
  "${AIRFLOW_DIR}/config" \
  "${AIRFLOW_DIR}/scripts" \
  "${AIRFLOW_DIR}/docker-compose.yml" \
  "${AIRFLOW_DIR}/Dockerfile" \
  "${AIRFLOW_DIR}/requirements.txt" \
  "${AIRFLOW_DIR}/.env" \
  /etc/caddy/Caddyfile \
  --tag airflow \
  --tag postgres

restic forget --prune \
  --keep-daily 14 \
  --keep-weekly 8 \
  --keep-monthly 12

rm -f "${DUMP_FILE}"
EOF

sudo chmod 700 /opt/airflow/scripts/backup-airflow.sh
sudo /opt/airflow/scripts/backup-airflow.sh

Після першого бекапу перевірте його вміст. Команда повинна показати DAG-файли, .env, Caddyfile і PostgreSQL dump. Раз на місяць виконуйте тестове відновлення на окремому сервері або в окремому каталозі — бекап, який не перевіряли, не вважається надійним.

sudo bash -c 'source /root/.config/restic/airflow.env && restic snapshots'
sudo bash -c 'source /root/.config/restic/airflow.env && restic check'

Розклад через cron

Запускайте бекап уночі, наприклад о 03:30. Cron перенаправляє stdout і stderr в окремий лог, який корисний під час розслідування помилки доступу до S3 або нестачі місця.

sudo crontab -e

30 3   * /opt/airflow/scripts/backup-airflow.sh >> /var/log/airflow-backup.log 2>&1

Перевірте, що cron встановлений і активний. Якщо сервер був вимкнений у момент виконання, звичайний cron не надолужить пропущене завдання. Для суворіших вимог замініть cron на systemd timer з Persistent=true.

sudo systemctl status cron
sudo tail -n 50 /var/log/airflow-backup.log

Оновлення Airflow і Docker-образів

Для окремого VPS безпечніше використовувати maintenance window. Спочатку прочитайте changelog цільової версії Airflow, зробіть свіжий бекап і перевірте оновлення на staging-сервері. Оновлення Airflow може містити міграцію схеми PostgreSQL, тому відкат контейнера до старої версії після міграції не завжди безпечний.

cd /opt/airflow

docker compose pull postgres redis
docker compose build --pull

docker compose up -d --no-deps postgres redis
docker compose run --rm airflow-init

docker compose up -d
docker compose ps
docker compose logs --tail=100 airflow-scheduler

Для оновлення Airflow змініть тег у Dockerfile і URL constraints на одну конкретну протестовану версію. Не оновлюйте major-версії PostgreSQL заміною тега образу: перехід, наприклад, із PostgreSQL 16 на 17 потребує окремої процедури міграції даних.

Troubleshooting і FAQ

Чому Airflow API server постійно перезапускається?

Спочатку виконайте docker compose logs airflow-apiserver і перевірте, чи завершилася ініціалізація бази. Частою причиною є запуск API server до міграції або неможливість підключення до PostgreSQL через неправильний пароль у .env. Перевірте docker compose exec postgres pg_isready -U airflow -d airflow, потім повторно запустіть docker compose run --rm airflow-init. Не видаляйте volume PostgreSQL, якщо в ньому є робочі дані.

Завдання залишаються у стані queued і не запускаються worker?

Зазвичай це означає проблему Celery worker, Redis або несумісність налаштувань broker URL. Перевірте статус worker через docker compose logs airflow-worker і переконайтеся, що Redis відповідає на команду redis-cli ping усередині контейнера. Також перевірте однакові значення AIRFLOW__CELERY__BROKER_URL у scheduler і worker. Якщо worker було зупинено під час виконання завдання, перезапустіть його; завдання з правильно налаштованими retries будуть повторені планувальником.

Чому DAG не видно у web-інтерфейсі?

Перевірте синтаксис Python-файлу та логи сервісу airflow-dag-processor. Помилка імпорту бібліотеки, якої немає в Dockerfile, робить DAG невидимим або позначає його як broken. Виконайте docker compose exec airflow-scheduler airflow dags list-import-errors. Також переконайтеся, що файл знаходиться в /opt/airflow/dags, має розширення .py і доступний користувачу контейнера.

Чому Caddy не отримує SSL-сертифікат?

Перевірте, що A-запис домену вказує на IP VPS, а порти 80 і 443 доступні з інтернету. Команда sudo ss -tulpn повинна показувати Caddy на цих портах. Якщо раніше було встановлено Nginx або Apache, зупиніть його або переналаштуйте. Перегляньте помилки через sudo journalctl -u caddy -n 100. Cloudflare та інші DNS-проксі також можуть впливати на перевірку; для діагностики тимчасово використовуйте звичайний DNS-запис.

Яка конфігурація VPS мінімально підійде?

Для тестів і кількох легких DAG мінімально підійдуть 2 vCPU, 4 ГБ RAM і 50 ГБ SSD. Однак для робочого Airflow із PostgreSQL, Redis і CeleryExecutor краще починати з 4 vCPU, 8 ГБ RAM і 80–100 ГБ NVMe. Залишайте щонайменше 20–30% вільного дискового простору для логів, Docker-образів, тимчасових файлів і дампів бази. Якщо завдання використовують pandas або браузерну автоматизацію, важливіше збільшити RAM.

Що вибрати — VPS чи dedicated для цього завдання?

VPS підходить для більшості невеликих і середніх інсталяцій Airflow: розкладів, API-інтеграцій, ETL помірного обсягу та кількох worker-процесів. Dedicated-сервер потрібен за постійного навантаження на CPU, великих обсягів локальних даних, потреби в пам’яті від 32 ГБ, GPU-завдань або вимог до стабільно високої продуктивності диска. Альтернативний шлях — залишити Airflow на VPS, а важкі обчислення передавати у зовнішні Kubernetes jobs, Spark, хмарні batch-сервіси або на окремі workers.

Що робити, якщо на сервері закінчується пам’ять і контейнери отримують OOMKilled?

Виконайте docker stats --no-stream, free -h і dmesg -T | grep -i oom, щоб визначити винуватця. Найчастіше пам’ять споживає Python-завдання, а не сам scheduler. Зменште AIRFLOW__CELERY__WORKER_CONCURRENCY до 1, обмежте кількість паралельних завдань і додайте RAM. Swap може тимчасово захистити від аварійного завершення, але не замінює пам’ять: інтенсивна робота через swap робить scheduler нестабільним.

Як відновити Airflow з бекапу після втрати сервера?

На новому сервері встановіть Docker і restic, відновіть файли з репозиторію в /opt/airflow, потім запустіть лише PostgreSQL. Розпакуйте PostgreSQL dump та імпортуйте його через pg_restore у порожню базу. Після цього запустіть airflow-init, а потім інші сервіси. Важливо відновити оригінальний .env із тим самим Fernet key: без нього збережені підключення та змінні неможливо буде розшифрувати.

Висновки та наступні кроки

Схема: Висновки та наступні кроки
Схема: Висновки та наступні кроки

Тепер на VPS працює орієнтована на production інсталяція Apache Airflow: PostgreSQL зберігає метадані, Redis обслуговує CeleryExecutor, окремі worker-контейнери виконують DAG, а Caddy захищає інтерфейс HTTPS-сертифікатом. Конфігурація не відкриває внутрішні сервіси в інтернет і включає резервне копіювання критичних даних.

  1. Перенесіть DAG у Git-репозиторій і налаштуйте CI-перевірки імпорту, лінтери та тести перед доставкою файлів на сервер.
  2. Підключіть зовнішній backend секретів, якщо в Airflow з’являться production API-ключі, токени та доступи до баз даних.
  3. Із ростом навантаження винесіть Celery workers на окремі сервери, налаштуйте remote logging в об’єктне сховище та додайте моніторинг через Prometheus, Grafana або зовнішній сервіс алертів.

Партнерські посилання: за покупку ми можемо отримати комісію, ціна для вас не змінюється.

Чи був цей гайд корисним?

Ваш відгук допомагає нам покращувати гайди.

Share this post:

Надішліть гайд тому, кому він може стати в пригоді.

Telegram VKVK WhatsApp Facebook LinkedIn XX

встановлення Apache Airflow на VPS: Docker, PostgreSQL, CeleryExecutor, SSL і резервні копії