eco Начальный Туториал

Установка Apache Airflow на VPS: Docker, PostgreSQL, CeleryExecutor, SSL и бэкапы

Мы получаем комиссию, когда вы покупаете по ссылкам на этой странице.

calendar_month Nov 01, 2026 schedule 19 мин. чтения visibility 824 просмотров
Установка Apache Airflow на VPS: Docker, PostgreSQL, CeleryExecutor, SSL и бэкапы
dns Нет сервера под эту инструкцию? Vultr, DigitalOcean, Contabo sellАкция WebHosting UK: −10% на управляемые VPS до 30.11 Получить →

Установка Apache Airflow на VPS: Docker, PostgreSQL, CeleryExecutor, SSL и бэкапы

TL;DR

В этом руководстве мы развернём Apache Airflow 3 на VPS через Docker Compose: PostgreSQL будет хранить метаданные, Redis станет брокером задач для CeleryExecutor, Caddy автоматически выдаст SSL-сертификат, а резервные копии PostgreSQL, DAG-файлов и конфигурации будут отправляться во внешнее S3-хранилище.

  • Airflow будет работать в отказоустойчивой для небольших команд схеме с CeleryExecutor.
  • Web-интерфейс будет доступен по HTTPS на собственном домене.
  • PostgreSQL, Redis, scheduler, worker и API-сервер будут изолированы Docker Compose.
  • Секреты будут храниться в файле .env, а не в Docker Compose или DAG-коде.
  • Бэкапы PostgreSQL и файлов Airflow будут выполняться автоматически по расписанию.
  • Конфигурация рассчитана на Ubuntu Server 24.04 LTS и Apache Airflow 3.0.x.

Что мы настраиваем и зачем

Apache Airflow — это платформа для оркестрации задач и пайплайнов. В Airflow разработчик описывает процесс обработки данных как DAG — ориентированный ациклический граф. Каждая задача имеет зависимости, расписание, ретраи, логи и статус. Например, Airflow может каждую ночь выгружать данные из CRM, запускать Python-трансформации, загружать результат в PostgreSQL и уведомлять команду при ошибке.

Airflow подходит не только для классического ETL. Его используют для запуска ML-пайплайнов, периодических API-интеграций, генерации отчётов, резервного копирования, синхронизации SaaS-сервисов, обработки файлов и задач DevOps. Главное условие: процесс должен состоять из повторяемых шагов, для которых важны расписание, наблюдаемость и повторный запуск.

В базовом режиме Airflow может работать с LocalExecutor, когда scheduler запускает задачи на том же сервере. Для тестового окружения этого достаточно. Однако для production-сценария с несколькими одновременными DAG, тяжёлыми Python-задачами или несколькими пользователями разумнее использовать CeleryExecutor. Он отделяет планирование от выполнения: scheduler ставит задания в очередь Redis, а отдельные Celery workers забирают и исполняют их.

Итоговая архитектура

Компонент Назначение Где работает
Airflow API Server Web-интерфейс, REST API и аутентификация Docker-контейнер
Airflow Scheduler Разбирает DAG, создаёт запуски и ставит задачи в очередь Docker-контейнер
Airflow DAG Processor Отдельно парсит Python-файлы DAG Docker-контейнер
Celery Worker Исполняет задачи DAG Docker-контейнер
PostgreSQL 16 Хранит пользователей, состояние задач, подключения и метаданные Docker volume
Redis 7 Очередь задач Celery и временное хранилище сообщений Docker volume
Caddy Reverse proxy, HTTPS и автоматическое обновление TLS-сертификатов Хостовая система

Что вы получите после настройки

  • Доступ к Airflow по адресу вида https://airflow.example.com.
  • Отдельную базу PostgreSQL вместо встроенного SQLite.
  • Очередь задач и параллельное выполнение через CeleryExecutor.
  • Персистентные Docker volumes для PostgreSQL, Redis и логов.
  • Каталог для DAG, плагинов и конфигурации на хосте.
  • HTTPS без ручного выпуска и продления сертификатов.
  • Автоматические зашифрованные резервные копии во внешнее хранилище.

Cloud-managed Airflow или self-hosted на VPS

Managed-варианты снимают часть эксплуатации: провайдер обновляет инфраструктуру, хранит метаданные и иногда масштабирует workers. Это удобно для крупных команд, но обычно ограничивает версии, сетевую топологию, установку системных библиотек и кастомных Python-зависимостей. Стоимость также может заметно вырасти при постоянной работе воркеров.

Self-hosted Apache Airflow на VPS даёт полный контроль. Можно добавлять системные пакеты в образ, использовать закрытые сети, подключать локальные сервисы, фиксировать версию Python-пакетов и хранить данные в выбранной юрисдикции. Цена такого контроля — необходимость самостоятельно следить за обновлениями, бэкапами, секретами и доступностью сервера.

Не используйте Airflow как универсальный сервис очередей в реальном времени. Он предназначен для планируемых и пакетных процессов. Для обработки тысяч коротких событий в секунду чаще нужны Kafka, RabbitMQ, NATS или специализированный worker-сервис.

dnsСервер под эту инструкцию

Подходящие тарифы проверенных провайдеров, цены обновляются каждый день.

sell WebHosting UK: −10% на управляемые VPS · до 30.11 Получить →

Сравнить:Vultr vs DigitalOceanVultr vs ContaboВсе VPS по цене

Партнёрские ссылки: при покупке мы можем получить комиссию, цена для вас не меняется.

Какой VPS-конфиг нужен под эту задачу

Схема: Какой VPS-конфиг нужен под эту задачу
Схема: Какой VPS-конфиг нужен под эту задачу

Потребление ресурсов Airflow зависит не только от числа DAG. Важны частота запуска, объём логов, число одновременных задач, библиотеки Python, а также нагрузка на PostgreSQL. Даже при небольшом количестве пайплайнов несколько сервисов Airflow постоянно работают в памяти: API server, scheduler, DAG processor, worker, PostgreSQL и Redis.

Сценарий vCPU RAM NVMe SSD Подходящий режим
Тесты, 1–5 лёгких DAG 2 4 ГБ 40–60 ГБ LocalExecutor или Celery с одним worker
Небольшой production, 5–30 DAG 4 8 ГБ 80–120 ГБ CeleryExecutor, 1–2 workers
Команда и регулярные ETL-процессы 8 16 ГБ 160 ГБ и больше CeleryExecutor, несколько workers
Тяжёлые ML/аналитические задачи 8–16+ 32 ГБ+ 300 ГБ+ Отдельные workers или dedicated

Для старта с production-нагрузкой разумная конфигурация — 4 vCPU, 8 ГБ RAM, 100 ГБ NVMe и порт не ниже 100 Мбит/с. Этого достаточно для Airflow, PostgreSQL, Redis и одного Celery worker с умеренным параллелизмом. Такой сервер можно использовать как VPS с указанными характеристиками, если задачи не требуют большого объёма памяти или локальной обработки десятков гигабайт данных.

Почему не стоит начинать с 2 ГБ RAM

На сервере с 2 ГБ памяти Docker-контейнеры могут формально запуститься, но при импорте тяжёлых библиотек, миграциях базы или одновременном выполнении задач система начнёт использовать swap. В результате scheduler пропускает heartbeats, worker получает сигнал OOM Killer, а интерфейс Airflow становится медленным. Минимум 4 ГБ подходит только для стенда разработки; для рабочих DAG лучше планировать 8 ГБ.

Когда нужен dedicated, а не VPS

Dedicated-сервер оправдан, если задачи постоянно нагружают CPU, требуют 32–64 ГБ RAM, обрабатывают большие локальные файлы, используют GPU или чувствительны к предсказуемой производительности диска. Он также полезен, если Airflow запускает много тяжёлых workers на одной машине и вы не хотите конкурировать за ресурсы с другими виртуальными машинами на хосте.

Если же Airflow только координирует внешние сервисы — API, облачные базы, объектные хранилища и serverless-задачи — VPS обычно достаточно. В этом случае основные вычисления выполняются вне Airflow, а сам сервер хранит метаданные и управляет расписанием.

Выбор локации

Локация VPS влияет на задержку до PostgreSQL, S3, корпоративных API и сотрудников, открывающих web-интерфейс. Размещайте сервер ближе к основной базе данных или приватной сети, а не только к пользователям интерфейса. Если DAG регулярно передаёт большие файлы в S3-совместимое хранилище, измерьте сетевую задержку и стоимость исходящего трафика.

Для персональных данных и финансовых данных учитывайте требования юрисдикции. В любом случае не открывайте PostgreSQL, Redis и внутренние порты Airflow в интернет: доступ снаружи должен быть только к SSH, HTTP и HTTPS.

Подготовка сервера

Схема: Подготовка сервера
Схема: Подготовка сервера

Ниже предполагается чистый сервер с Ubuntu Server 24.04 LTS, публичным IPv4-адресом и доменом airflow.example.com. До настройки Caddy создайте DNS-запись типа A, указывающую на IP-адрес VPS. Для IPv6 добавьте AAAA-запись только если сервер действительно принимает входящий IPv6-трафик.

Подключение и обновление системы

Подключитесь первоначальным пользователем, которого выдал провайдер, затем обновите пакеты. Перезагрузка нужна, если обновилось ядро или критические системные библиотеки.

ssh root@SERVER_IP

apt update && apt upgrade -y
apt install -y curl wget ca-certificates gnupg lsb-release \
  git vim unzip htop jq ufw fail2ban cron

reboot

После перезагрузки подключитесь снова и создайте отдельного пользователя. Не запускайте повседневное администрирование от root: это снижает риск случайно удалить системные файлы или выполнить вредоносную команду с максимальными правами.

adduser deploy
usermod -aG sudo deploy

mkdir -p /home/deploy/.ssh
chmod 700 /home/deploy/.ssh
cp /root/.ssh/authorized_keys /home/deploy/.ssh/authorized_keys
chown -R deploy:deploy /home/deploy/.ssh
chmod 600 /home/deploy/.ssh/authorized_keys

Проверьте вход новым пользователем в отдельном терминале. Не закрывайте root-сессию, пока не убедитесь, что ключ принимается.

ssh deploy@SERVER_IP
sudo -v
exit

Защита SSH

Отключите парольную аутентификацию и прямой вход root только после проверки ключевого доступа. Создайте отдельный drop-in-файл, чтобы не редактировать основной конфиг OpenSSH.

sudo tee /etc/ssh/sshd_config.d/99-hardening.conf > /dev/null <<'EOF'
PasswordAuthentication no
KbdInteractiveAuthentication no
PermitRootLogin no
PubkeyAuthentication yes
MaxAuthTries 3
X11Forwarding no
EOF

sudo sshd -t && sudo systemctl restart ssh

Настройте UFW. Docker публикует порты через собственные правила iptables, поэтому в дальнейшем API Airflow будет привязан только к 127.0.0.1, а не к публичному интерфейсу. Внешний доступ получит только Caddy на портах 80 и 443.

sudo ufw default deny incoming
sudo ufw default allow outgoing
sudo ufw allow OpenSSH
sudo ufw allow 80/tcp
sudo ufw allow 443/tcp
sudo ufw enable
sudo ufw status verbose

Fail2ban будет блокировать IP-адреса с повторяющимися неудачными попытками SSH-входа. Для ключевой аутентификации это дополнительный, а не основной слой защиты.

sudo systemctl enable --now fail2ban
sudo fail2ban-client status sshd

Системные лимиты и каталог проекта

Airflow создаёт много файлов логов, а PostgreSQL использует файловые дескрипторы. Поднимем лимит открытых файлов для пользователя, под которым будет работать Docker Compose. Затем создадим структуру каталогов.

sudo tee /etc/security/limits.d/99-airflow.conf > /dev/null <<'EOF'
deploy soft nofile 65535
deploy hard nofile 65535
EOF

sudo mkdir -p /opt/airflow/{dags,logs,plugins,config,backups,scripts}
sudo chown -R deploy:deploy /opt/airflow
sudo chmod 750 /opt/airflow

sudo -iu deploy
cd /opt/airflow

Все последующие команды Docker Compose выполняйте пользователем deploy из каталога /opt/airflow. Не храните DAG, конфиги и бэкапы в домашнем каталоге root: это усложняет права доступа и восстановление.

Установка ПО — пошагово

Схема: Установка ПО — пошагово
Схема: Установка ПО — пошагово

В этой конфигурации используются Docker Engine 27+, Docker Compose Plugin 2.30+, PostgreSQL 16, Redis 7.4 и Apache Airflow 3.0.2. Версия Airflow закреплена намеренно: автоматическая загрузка тега latest опасна, потому что крупное обновление может изменить схему базы и поведение API.

Установка Docker Engine и Docker Compose

Добавим официальный репозиторий Docker для Ubuntu 24.04. Команды устанавливают движок контейнеров, CLI, Buildx и Compose Plugin.

sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | \
  sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg

echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] \
  https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io \
  docker-buildx-plugin docker-compose-plugin

Добавьте пользователя deploy в группу Docker. После этого необходимо заново войти по SSH, иначе команда docker будет требовать sudo.

sudo usermod -aG docker deploy
exit

ssh deploy@SERVER_IP
docker version
docker compose version

Настройка Docker daemon

Ограничим рост JSON-логов контейнеров. Без ротации Docker-логи способны заполнить диск даже при умеренной ошибке в Python-задаче.

sudo tee /etc/docker/daemon.json > /dev/null <<'EOF'
{
  "log-driver": "local",
  "log-opts": {
    "max-size": "20m",
    "max-file": "5"
  },
  "live-restore": true
}
EOF

sudo systemctl restart docker
docker info | grep -E "Logging Driver|Live Restore"

Создание секретов Airflow

Airflow использует Fernet key для шифрования Connection passwords и Variable values в базе. API secret key нужен для подписи сессий и токенов. PostgreSQL и Redis также должны иметь случайные пароли. Значения нельзя коммитить в Git и публиковать в тикетах.

cd /opt/airflow

FERNET_KEY=$(docker run --rm apache/airflow:3.0.2 \
  python -c "from cryptography.fernet import Fernet; print(Fernet.generate_key().decode())")

API_SECRET=$(openssl rand -hex 32)
POSTGRES_PASSWORD=$(openssl rand -base64 32 | tr -d '\n')
REDIS_PASSWORD=$(openssl rand -base64 32 | tr -d '\n')
ADMIN_PASSWORD=$(openssl rand -base64 24 | tr -d '\n')

printf '%s\n' "Generated secrets are ready."

Создайте файл .env. Замените домен, email администратора и вставьте сгенерированные значения. Пароль администратора можно заменить на собственный длинный пароль, который будет храниться в менеджере паролей.

cat > /opt/airflow/.env <<EOF
AIRFLOW_UID=$(id -u)
AIRFLOW_GID=$(id -g)

POSTGRES_DB=airflow
POSTGRES_USER=airflow
POSTGRES_PASSWORD=${POSTGRES_PASSWORD}

REDIS_PASSWORD=${REDIS_PASSWORD}

AIRFLOW_FERNET_KEY=${FERNET_KEY}
AIRFLOW_API_SECRET_KEY=${API_SECRET}

AIRFLOW_ADMIN_USERNAME=admin
AIRFLOW_ADMIN_FIRSTNAME=Airflow
AIRFLOW_ADMIN_LASTNAME=Admin
[email protected]
AIRFLOW_ADMIN_PASSWORD=${ADMIN_PASSWORD}

AIRFLOW_DOMAIN=airflow.example.com
EOF

chmod 600 /opt/airflow/.env

Подготовка пользовательского образа

Официальный образ Airflow уже содержит основной пакет, но реальные DAG почти всегда требуют дополнительных Python-библиотек. Не устанавливайте их вручную в запущенный контейнер: изменения исчезнут после пересоздания. Вместо этого создайте собственный образ.

cat > /opt/airflow/requirements.txt <<'EOF'
requests==2.32.3
pandas==2.2.3
psycopg[binary]==3.2.3
EOF

cat > /opt/airflow/Dockerfile <<'EOF'
FROM apache/airflow:3.0.2

COPY requirements.txt /requirements.txt
RUN pip install --no-cache-dir --constraint \
    "https://raw.githubusercontent.com/apache/airflow/constraints-3.0.2/constraints-3.12.txt" \
    -r /requirements.txt
EOF

Ограничения Airflow критичны: они фиксируют совместимые версии библиотек. При добавлении провайдеров, например для AWS, Google Cloud, Slack или Kubernetes, добавляйте их в requirements.txt, пересобирайте образ и тестируйте DAG в отдельном окружении.

Создание Docker Compose-файла

Следующий compose-файл поднимает все сервисы. Порт API Airflow опубликован только на 127.0.0.1:8080; это исключает прямой доступ из интернета. PostgreSQL и Redis вообще не публикуют порты на хост.

cat > /opt/airflow/docker-compose.yml <<'EOF'
x-airflow-common: &airflow-common
  build:
    context: .
  env_file:
    - .env
  user: "${AIRFLOW_UID}:0"
  restart: unless-stopped
  depends_on:
    postgres:
      condition: service_healthy
    redis:
      condition: service_healthy
  environment:
    AIRFLOW__CORE__EXECUTOR: CeleryExecutor
    AIRFLOW__DATABASE__SQL_ALCHEMY_CONN: postgresql+psycopg://airflow:${POSTGRES_PASSWORD}@postgres/airflow
    AIRFLOW__CELERY__BROKER_URL: redis://:${REDIS_PASSWORD}@redis:6379/0
    AIRFLOW__CELERY__RESULT_BACKEND: db+postgresql://airflow:${POSTGRES_PASSWORD}@postgres/airflow
    AIRFLOW__CORE__FERNET_KEY: ${AIRFLOW_FERNET_KEY}
    AIRFLOW__API__SECRET_KEY: ${AIRFLOW_API_SECRET_KEY}
    AIRFLOW__CORE__LOAD_EXAMPLES: "false"
    AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION: "true"
    AIRFLOW__CORE__PARALLELISM: "8"
    AIRFLOW__CORE__MAX_ACTIVE_TASKS_PER_DAG: "4"
    AIRFLOW__CELERY__WORKER_CONCURRENCY: "2"
    AIRFLOW__LOGGING__REMOTE_LOGGING: "false"
  volumes:
    - ./dags:/opt/airflow/dags
    - ./logs:/opt/airflow/logs
    - ./plugins:/opt/airflow/plugins
    - ./config:/opt/airflow/config

services:
  postgres:
    image: postgres:16.6-alpine
    restart: unless-stopped
    env_file:
      - .env
    environment:
      POSTGRES_DB: ${POSTGRES_DB}
      POSTGRES_USER: ${POSTGRES_USER}
      POSTGRES_PASSWORD: ${POSTGRES_PASSWORD}
    volumes:
      - postgres-db-volume:/var/lib/postgresql/data
    healthcheck:
      test: ["CMD-SHELL", "pg_isready -U airflow -d airflow"]
      interval: 10s
      timeout: 5s
      retries: 10

  redis:
    image: redis:7.4-alpine
    restart: unless-stopped
    env_file:
      - .env
    command: ["redis-server", "--appendonly", "yes", "--requirepass", "${REDIS_PASSWORD}"]
    volumes:
      - redis-data:/data
    healthcheck:
      test: ["CMD-SHELL", "redis-cli -a \"$${REDIS_PASSWORD}\" ping | grep PONG"]
      interval: 10s
      timeout: 5s
      retries: 10

  airflow-init:
    <<: airflow-common
    restart: "no"
    command:
      - bash
      - -c
      - |
        airflow db migrate
        airflow users create \
          --username "$${AIRFLOW_ADMIN_USERNAME}" \
          --firstname "$${AIRFLOW_ADMIN_FIRSTNAME}" \
          --lastname "$${AIRFLOW_ADMIN_LASTNAME}" \
          --role Admin \
          --email "$${AIRFLOW_ADMIN_EMAIL}" \
          --password "$${AIRFLOW_ADMIN_PASSWORD}" || true

  airflow-apiserver:
    <<: airflow-common
    command: api-server
    ports:
      - "127.0.0.1:8080:8080"
    healthcheck:
      test: ["CMD-SHELL", "curl --fail http://localhost:8080/api/v2/monitor/health || exit 1"]
      interval: 30s
      timeout: 10s
      retries: 5

  airflow-scheduler:
    <<: airflow-common
    command: scheduler

  airflow-dag-processor:
    <<: airflow-common
    command: dag-processor

  airflow-worker:
    <<: airflow-common
    command: celery worker
    stop_grace_period: 10m

  airflow-triggerer:
    <<: airflow-common
    command: triggerer

volumes:
  postgres-db-volume:
  redis-data:
EOF

Перед запуском проверьте, что Compose корректно подставляет переменные и YAML не содержит синтаксических ошибок.

cd /opt/airflow
docker compose config > /tmp/airflow-rendered.yml
docker compose build
docker compose up airflow-init

docker compose up -d
docker compose ps

На первом запуске инициализация может занять несколько минут. Проверьте логи scheduler и worker. Все сервисы должны перейти в статус running, а PostgreSQL и Redis — в healthy.

docker compose logs --tail=100 airflow-scheduler
docker compose logs --tail=100 airflow-worker
docker compose exec airflow-scheduler airflow version
docker compose exec airflow-scheduler airflow db check

Конфигурация Airflow, CeleryExecutor и SSL

Схема: Конфигурация Airflow, CeleryExecutor и SSL
Схема: Конфигурация Airflow, CeleryExecutor и SSL

Тестовый DAG

Создадим минимальный DAG, который подтверждает работу scheduler, очереди Celery и worker. Он запускается вручную, поэтому не создаёт постоянную нагрузку на сервер. В Airflow 3 используйте актуальный SDK для декораторов DAG и task.

cat > /opt/airflow/dags/healthcheck_dag.py <<'EOF'
from datetime import datetime
from airflow.sdk import dag, task

@dag(
    dag_id="healthcheck_celery",
    start_date=datetime(2025, 1, 1),
    schedule=None,
    catchup=False,
    tags=["system"],
)
def healthcheck_celery():
    @task
    def check_worker():
        return "CeleryExecutor worker completed the task successfully"

    check_worker()

healthcheck_celery()
EOF

cd /opt/airflow
docker compose restart airflow-scheduler airflow-dag-processor

Через 30–90 секунд DAG появится в интерфейсе. До настройки SSL можно проверить API локально с сервера. Код ответа 200 или JSON-структура с компонентами здоровья означает, что API server отвечает.

curl -fsS http://127.0.0.1:8080/api/v2/monitor/health | jq
docker compose exec airflow-scheduler airflow dags list | grep healthcheck_celery

Установка Caddy для HTTPS

Caddy автоматически получает и обновляет сертификаты Let's Encrypt. Для этого домен должен уже указывать на сервер, а порты 80 и 443 должны быть открыты в UFW и на уровне панели провайдера. Не запускайте второй веб-сервер на этих же портах.

sudo apt install -y debian-keyring debian-archive-keyring apt-transport-https

curl -1sLf 'https://dl.cloudsmith.io/public/caddy/stable/gpg.key' | \
  sudo gpg --dearmor -o /usr/share/keyrings/caddy-stable-archive-keyring.gpg

curl -1sLf 'https://dl.cloudsmith.io/public/caddy/stable/debian.deb.txt' | \
  sudo tee /etc/apt/sources.list.d/caddy-stable.list

sudo apt update
sudo apt install -y caddy
caddy version

Создайте Caddyfile. Замените домен и email. Заголовки ниже запрещают встраивание интерфейса в iframe и отключают определение MIME-типа браузером. Airflow остаётся на localhost, поэтому Caddy — единственная публичная точка входа.

sudo tee /etc/caddy/Caddyfile > /dev/null <<'EOF'
{
    email [email protected]
}

airflow.example.com {
    encode zstd gzip

    reverse_proxy 127.0.0.1:8080

    header {
        X-Content-Type-Options "nosniff"
        X-Frame-Options "DENY"
        Referrer-Policy "strict-origin-when-cross-origin"
        -Server
    }

    log {
        output file /var/log/caddy/airflow-access.log
        format json
    }
}
EOF

sudo mkdir -p /var/log/caddy
sudo chown caddy:caddy /var/log/caddy
sudo caddy validate --config /etc/caddy/Caddyfile
sudo systemctl reload caddy
sudo systemctl enable caddy

Проверьте выдачу сертификата и обратный прокси. В ответе должна быть строка статуса HTTP/2 200 или редирект на страницу входа. Если сертификат не выдаётся, сначала проверьте DNS и доступность порта 80 извне.

curl -I https://airflow.example.com
sudo journalctl -u caddy -n 100 --no-pager
sudo ss -tulpn | grep -E ':80|:443|:8080'

Параметры CeleryExecutor

В compose-файле установлены parallelism=8, max_active_tasks_per_dag=4 и worker_concurrency=2. Это безопасная отправная точка для VPS с 4 vCPU и 8 ГБ RAM. Суммарное число одновременно работающих задач ограничивается меньшим из этих значений и доступным количеством worker slots.

Не повышайте worker_concurrency только ради высокой цифры. Если каждая задача использует pandas, Selenium, Chrome, dbt или несколько сотен мегабайт памяти, два одновременных процесса уже могут занять большую часть RAM. Сначала измерьте реальное потребление через docker stats, затем увеличивайте значения по одному параметру.

cd /opt/airflow
docker stats --no-stream
docker compose exec airflow-worker celery --app airflow.providers.celery.executors.celery_executor.app inspect ping

Безопасное хранение подключений

Не записывайте API-ключи, DSN баз данных и пароли в исходный код DAG. Для небольшого self-hosted-инстанса можно создавать Airflow Connections через web-интерфейс: значения будут зашифрованы Fernet key в PostgreSQL. Для production-среды лучше подключить внешний backend секретов: HashiCorp Vault, AWS Secrets Manager, Google Secret Manager или совместимый корпоративный сервис.

Если Fernet key потерян, существующие зашифрованные значения Connection и Variable будет невозможно расшифровать. Поэтому включайте файл .env в зашифрованный бэкап, но не храните его в публичном репозитории. При ротации Fernet key используйте штатную команду Airflow для ротации, а не простую замену переменной.

Бэкапы и обслуживание

Схема: Бэкапы и обслуживание
Схема: Бэкапы и обслуживание

Бэкап Docker volume сам по себе недостаточен. Для восстановления Airflow нужны база PostgreSQL, DAG-файлы, плагины, конфигурация, файл .env и сведения о версии образа. Redis обычно не является источником истины: незавершённые сообщения очереди можно потерять, но состояние задач и метаданные хранятся в PostgreSQL.

Что нужно резервировать

  • Логический дамп PostgreSQL через pg_dump.
  • Каталоги dags, plugins, config и scripts.
  • Файл .env с Fernet key, API secret и паролями.
  • docker-compose.yml, Dockerfile и requirements.txt.
  • При необходимости — каталог logs, если логи нужны для аудита.
  • Конфигурацию Caddy из /etc/caddy/Caddyfile.

Для хранения используем restic — инструмент дедуплицированных зашифрованных бэкапов. Репозиторий может находиться в S3-совместимом объектном хранилище или на отдельном сервере по SFTP. Ниже показан вариант с S3 API; переменные доступа должны иметь разрешения только на конкретный bucket.

Установка и настройка restic

sudo apt install -y restic

sudo mkdir -p /root/.config/restic
sudo chmod 700 /root/.config/restic

sudo tee /root/.config/restic/airflow.env > /dev/null <<'EOF'
export RESTIC_REPOSITORY="s3:https://s3.example.com/airflow-backups"
export RESTIC_PASSWORD="CHANGE_TO_A_LONG_RANDOM_RESTIC_PASSWORD"
export AWS_ACCESS_KEY_ID="CHANGE_ME"
export AWS_SECRET_ACCESS_KEY="CHANGE_ME"
EOF

sudo chmod 600 /root/.config/restic/airflow.env

sudo bash -c 'source /root/.config/restic/airflow.env && restic init'

Первый запуск restic init создаёт репозиторий. Сохраните пароль репозитория вне сервера: в менеджере секретов или офлайн-хранилище. Без него зашифрованные резервные копии восстановить нельзя.

Скрипт резервного копирования

Скрипт сначала создаёт сжатый дамп PostgreSQL внутри контейнера, затем передаёт данные в restic. Дамп создаётся в /opt/airflow/backups и автоматически удаляется после успешного завершения, чтобы не накапливать копии на VPS.

sudo tee /opt/airflow/scripts/backup-airflow.sh > /dev/null <<'EOF'
#!/usr/bin/env bash
set -euo pipefail

AIRFLOW_DIR="/opt/airflow"
BACKUP_DIR="${AIRFLOW_DIR}/backups"
DATE="$(date +%F_%H-%M-%S)"
DUMP_FILE="${BACKUP_DIR}/postgres_${DATE}.dump.gz"

source /root/.config/restic/airflow.env

mkdir -p "${BACKUP_DIR}"
cd "${AIRFLOW_DIR}"

docker compose exec -T postgres \
  pg_dump -U airflow -d airflow --format=custom | gzip -9 > "${DUMP_FILE}"

restic backup \
  "${DUMP_FILE}" \
  "${AIRFLOW_DIR}/dags" \
  "${AIRFLOW_DIR}/plugins" \
  "${AIRFLOW_DIR}/config" \
  "${AIRFLOW_DIR}/scripts" \
  "${AIRFLOW_DIR}/docker-compose.yml" \
  "${AIRFLOW_DIR}/Dockerfile" \
  "${AIRFLOW_DIR}/requirements.txt" \
  "${AIRFLOW_DIR}/.env" \
  /etc/caddy/Caddyfile \
  --tag airflow \
  --tag postgres

restic forget --prune \
  --keep-daily 14 \
  --keep-weekly 8 \
  --keep-monthly 12

rm -f "${DUMP_FILE}"
EOF

sudo chmod 700 /opt/airflow/scripts/backup-airflow.sh
sudo /opt/airflow/scripts/backup-airflow.sh

После первого бэкапа проверьте его содержимое. Команда должна показать файлы DAG, .env, Caddyfile и PostgreSQL dump. Раз в месяц выполняйте тестовое восстановление на отдельном сервере или в отдельном каталоге — бэкап, который не проверяли, не считается надёжным.

sudo bash -c 'source /root/.config/restic/airflow.env && restic snapshots'
sudo bash -c 'source /root/.config/restic/airflow.env && restic check'

Расписание через cron

Запускайте бэкап ночью, например в 03:30. Cron перенаправляет stdout и stderr в отдельный лог, который полезен при расследовании ошибки доступа к S3 или нехватки места.

sudo crontab -e

30 3   * /opt/airflow/scripts/backup-airflow.sh >> /var/log/airflow-backup.log 2>&1

Проверьте, что cron установлен и активен. Если сервер выключался в момент выполнения, обычный cron не догонит пропущенную задачу. Для более строгих требований замените cron на systemd timer с Persistent=true.

sudo systemctl status cron
sudo tail -n 50 /var/log/airflow-backup.log

Обновления Airflow и Docker-образов

Для одиночного VPS безопаснее использовать maintenance window. Сначала прочитайте changelog целевой версии Airflow, сделайте свежий бэкап и проверьте обновление на staging-сервере. Обновление Airflow может содержать миграцию схемы PostgreSQL, поэтому откат контейнера на старую версию после миграции не всегда безопасен.

cd /opt/airflow

docker compose pull postgres redis
docker compose build --pull

docker compose up -d --no-deps postgres redis
docker compose run --rm airflow-init

docker compose up -d
docker compose ps
docker compose logs --tail=100 airflow-scheduler

Для обновления Airflow измените тег в Dockerfile и URL constraints на одну конкретную протестированную версию. Не обновляйте PostgreSQL major-версии заменой тега образа: переход, например, с PostgreSQL 16 на 17 требует отдельной процедуры миграции данных.

Troubleshooting и FAQ

Почему Airflow API server постоянно перезапускается?

Сначала выполните docker compose logs airflow-apiserver и проверьте, завершилась ли инициализация базы. Частая причина — API server стартовал до миграции или не может подключиться к PostgreSQL из-за неверного пароля в .env. Проверьте docker compose exec postgres pg_isready -U airflow -d airflow, затем повторно запустите docker compose run --rm airflow-init. Не удаляйте volume PostgreSQL, если в нём есть рабочие данные.

Задачи остаются в состоянии queued и не запускаются worker?

Это обычно означает проблему Celery worker, Redis или несовместимость настроек broker URL. Проверьте статус worker через docker compose logs airflow-worker и убедитесь, что Redis отвечает командой redis-cli ping внутри контейнера. Также проверьте одинаковые значения AIRFLOW__CELERY__BROKER_URL у scheduler и worker. Если worker был остановлен во время задачи, перезапустите его; задачи с корректно настроенными retries будут повторены планировщиком.

Почему DAG не виден в web-интерфейсе?

Проверьте синтаксис Python-файла и логи сервиса airflow-dag-processor. Ошибка импорта библиотеки, которой нет в Dockerfile, делает DAG невидимым или помечает его как broken. Выполните docker compose exec airflow-scheduler airflow dags list-import-errors. Убедитесь также, что файл находится в /opt/airflow/dags, имеет расширение .py и доступен пользователю контейнера.

Почему Caddy не получает SSL-сертификат?

Проверьте, что A-запись домена указывает на IP VPS, а порты 80 и 443 доступны из интернета. Команда sudo ss -tulpn должна показывать Caddy на этих портах. Если ранее был установлен Nginx или Apache, остановите его либо перенастройте. Посмотрите ошибки через sudo journalctl -u caddy -n 100. Cloudflare и другие DNS-прокси также могут влиять на проверку; для диагностики временно используйте обычную DNS-запись.

Какой VPS-конфиг минимально подойдёт?

Для тестов и нескольких лёгких DAG минимально подойдут 2 vCPU, 4 ГБ RAM и 50 ГБ SSD. Однако для рабочего Airflow с PostgreSQL, Redis и CeleryExecutor лучше начинать с 4 vCPU, 8 ГБ RAM и 80–100 ГБ NVMe. Оставляйте минимум 20–30% свободного диска для логов, Docker-образов, временных файлов и дампов базы. Если задачи используют pandas или браузерную автоматизацию, важнее увеличить RAM.

Что выбрать — VPS или dedicated для этой задачи?

VPS подходит большинству небольших и средних установок Airflow: расписания, API-интеграции, ETL умеренного объёма и несколько worker-процессов. Dedicated-сервер нужен при постоянной CPU-нагрузке, больших объёмах локальных данных, памяти от 32 ГБ, GPU-задачах или требованиях к стабильно высокой дисковой производительности. Альтернативный путь — оставить Airflow на VPS, а тяжёлые вычисления отправлять во внешние Kubernetes jobs, Spark, облачные batch-сервисы или отдельные workers.

Что делать, если сервер заканчивает память и контейнеры получают OOMKilled?

Выполните docker stats --no-stream, free -h и dmesg -T | grep -i oom, чтобы определить виновника. Чаще всего память потребляет Python-задача, а не сам scheduler. Снизьте AIRFLOW__CELERY__WORKER_CONCURRENCY до 1, ограничьте число параллельных задач и добавьте RAM. Swap может временно защитить от аварийного завершения, но не заменяет память: интенсивная работа через swap делает scheduler нестабильным.

Как восстановить Airflow из бэкапа после потери сервера?

На новом сервере установите Docker и restic, восстановите файлы из репозитория в /opt/airflow, затем поднимите только PostgreSQL. Распакуйте PostgreSQL dump и импортируйте его через pg_restore в пустую базу. После этого запустите airflow-init, затем остальные сервисы. Важно восстановить исходный .env с тем же Fernet key: без него сохранённые подключения и переменные нельзя будет расшифровать.

Выводы и следующие шаги

Схема: Выводы и следующие шаги
Схема: Выводы и следующие шаги

Теперь на VPS работает production-ориентированная установка Apache Airflow: PostgreSQL хранит метаданные, Redis обслуживает CeleryExecutor, отдельные worker-контейнеры исполняют DAG, а Caddy защищает интерфейс HTTPS-сертификатом. Конфигурация не открывает внутренние сервисы в интернет и включает резервное копирование критичных данных.

  1. Перенесите DAG в Git-репозиторий и настройте CI-проверки импорта, линтеры и тесты перед доставкой файлов на сервер.
  2. Подключите внешний backend секретов, если в Airflow появятся production API-ключи, токены и доступы к базам данных.
  3. При росте нагрузки вынесите Celery workers на отдельные серверы, настройте remote logging в объектное хранилище и добавьте мониторинг через Prometheus, Grafana или внешний сервис алертов.

Партнёрские ссылки: при покупке мы можем получить комиссию, цена для вас не меняется.

Был ли этот гайд полезен?

Ваш отзыв помогает нам улучшать гайды.

Поделиться записью:

Отправьте гайд тому, кому он может пригодиться.

Telegram VKVK WhatsApp Facebook LinkedIn XX

установка apache airflow на vps: docker, postgresql, celeryexecutor, ssl и бэкапы