Установка Apache Airflow на VPS: Docker, PostgreSQL, CeleryExecutor, SSL и бэкапы
TL;DR
В этом руководстве мы развернём Apache Airflow 3 на VPS через Docker Compose: PostgreSQL будет хранить метаданные, Redis станет брокером задач для CeleryExecutor, Caddy автоматически выдаст SSL-сертификат, а резервные копии PostgreSQL, DAG-файлов и конфигурации будут отправляться во внешнее S3-хранилище.
- Airflow будет работать в отказоустойчивой для небольших команд схеме с
CeleryExecutor. - Web-интерфейс будет доступен по HTTPS на собственном домене.
- PostgreSQL, Redis, scheduler, worker и API-сервер будут изолированы Docker Compose.
- Секреты будут храниться в файле
.env, а не в Docker Compose или DAG-коде. - Бэкапы PostgreSQL и файлов Airflow будут выполняться автоматически по расписанию.
- Конфигурация рассчитана на Ubuntu Server 24.04 LTS и Apache Airflow 3.0.x.
Что мы настраиваем и зачем
Apache Airflow — это платформа для оркестрации задач и пайплайнов. В Airflow разработчик описывает процесс обработки данных как DAG — ориентированный ациклический граф. Каждая задача имеет зависимости, расписание, ретраи, логи и статус. Например, Airflow может каждую ночь выгружать данные из CRM, запускать Python-трансформации, загружать результат в PostgreSQL и уведомлять команду при ошибке.
Airflow подходит не только для классического ETL. Его используют для запуска ML-пайплайнов, периодических API-интеграций, генерации отчётов, резервного копирования, синхронизации SaaS-сервисов, обработки файлов и задач DevOps. Главное условие: процесс должен состоять из повторяемых шагов, для которых важны расписание, наблюдаемость и повторный запуск.
В базовом режиме Airflow может работать с LocalExecutor, когда scheduler запускает задачи на том же сервере. Для тестового окружения этого достаточно. Однако для production-сценария с несколькими одновременными DAG, тяжёлыми Python-задачами или несколькими пользователями разумнее использовать CeleryExecutor. Он отделяет планирование от выполнения: scheduler ставит задания в очередь Redis, а отдельные Celery workers забирают и исполняют их.
Итоговая архитектура
| Компонент | Назначение | Где работает |
|---|---|---|
| Airflow API Server | Web-интерфейс, REST API и аутентификация | Docker-контейнер |
| Airflow Scheduler | Разбирает DAG, создаёт запуски и ставит задачи в очередь | Docker-контейнер |
| Airflow DAG Processor | Отдельно парсит Python-файлы DAG | Docker-контейнер |
| Celery Worker | Исполняет задачи DAG | Docker-контейнер |
| PostgreSQL 16 | Хранит пользователей, состояние задач, подключения и метаданные | Docker volume |
| Redis 7 | Очередь задач Celery и временное хранилище сообщений | Docker volume |
| Caddy | Reverse proxy, HTTPS и автоматическое обновление TLS-сертификатов | Хостовая система |
Что вы получите после настройки
- Доступ к Airflow по адресу вида
https://airflow.example.com. - Отдельную базу PostgreSQL вместо встроенного SQLite.
- Очередь задач и параллельное выполнение через CeleryExecutor.
- Персистентные Docker volumes для PostgreSQL, Redis и логов.
- Каталог для DAG, плагинов и конфигурации на хосте.
- HTTPS без ручного выпуска и продления сертификатов.
- Автоматические зашифрованные резервные копии во внешнее хранилище.
Cloud-managed Airflow или self-hosted на VPS
Managed-варианты снимают часть эксплуатации: провайдер обновляет инфраструктуру, хранит метаданные и иногда масштабирует workers. Это удобно для крупных команд, но обычно ограничивает версии, сетевую топологию, установку системных библиотек и кастомных Python-зависимостей. Стоимость также может заметно вырасти при постоянной работе воркеров.
Self-hosted Apache Airflow на VPS даёт полный контроль. Можно добавлять системные пакеты в образ, использовать закрытые сети, подключать локальные сервисы, фиксировать версию Python-пакетов и хранить данные в выбранной юрисдикции. Цена такого контроля — необходимость самостоятельно следить за обновлениями, бэкапами, секретами и доступностью сервера.
Не используйте Airflow как универсальный сервис очередей в реальном времени. Он предназначен для планируемых и пакетных процессов. Для обработки тысяч коротких событий в секунду чаще нужны Kafka, RabbitMQ, NATS или специализированный worker-сервис.
dnsСервер под эту инструкцию
Подходящие тарифы проверенных провайдеров, цены обновляются каждый день.
Сравнить:Vultr vs DigitalOceanVultr vs ContaboВсе VPS по цене
Партнёрские ссылки: при покупке мы можем получить комиссию, цена для вас не меняется.
Какой VPS-конфиг нужен под эту задачу
Потребление ресурсов Airflow зависит не только от числа DAG. Важны частота запуска, объём логов, число одновременных задач, библиотеки Python, а также нагрузка на PostgreSQL. Даже при небольшом количестве пайплайнов несколько сервисов Airflow постоянно работают в памяти: API server, scheduler, DAG processor, worker, PostgreSQL и Redis.
| Сценарий | vCPU | RAM | NVMe SSD | Подходящий режим |
|---|---|---|---|---|
| Тесты, 1–5 лёгких DAG | 2 | 4 ГБ | 40–60 ГБ | LocalExecutor или Celery с одним worker |
| Небольшой production, 5–30 DAG | 4 | 8 ГБ | 80–120 ГБ | CeleryExecutor, 1–2 workers |
| Команда и регулярные ETL-процессы | 8 | 16 ГБ | 160 ГБ и больше | CeleryExecutor, несколько workers |
| Тяжёлые ML/аналитические задачи | 8–16+ | 32 ГБ+ | 300 ГБ+ | Отдельные workers или dedicated |
Для старта с production-нагрузкой разумная конфигурация — 4 vCPU, 8 ГБ RAM, 100 ГБ NVMe и порт не ниже 100 Мбит/с. Этого достаточно для Airflow, PostgreSQL, Redis и одного Celery worker с умеренным параллелизмом. Такой сервер можно использовать как VPS с указанными характеристиками, если задачи не требуют большого объёма памяти или локальной обработки десятков гигабайт данных.
Почему не стоит начинать с 2 ГБ RAM
На сервере с 2 ГБ памяти Docker-контейнеры могут формально запуститься, но при импорте тяжёлых библиотек, миграциях базы или одновременном выполнении задач система начнёт использовать swap. В результате scheduler пропускает heartbeats, worker получает сигнал OOM Killer, а интерфейс Airflow становится медленным. Минимум 4 ГБ подходит только для стенда разработки; для рабочих DAG лучше планировать 8 ГБ.
Когда нужен dedicated, а не VPS
Dedicated-сервер оправдан, если задачи постоянно нагружают CPU, требуют 32–64 ГБ RAM, обрабатывают большие локальные файлы, используют GPU или чувствительны к предсказуемой производительности диска. Он также полезен, если Airflow запускает много тяжёлых workers на одной машине и вы не хотите конкурировать за ресурсы с другими виртуальными машинами на хосте.
Если же Airflow только координирует внешние сервисы — API, облачные базы, объектные хранилища и serverless-задачи — VPS обычно достаточно. В этом случае основные вычисления выполняются вне Airflow, а сам сервер хранит метаданные и управляет расписанием.
Выбор локации
Локация VPS влияет на задержку до PostgreSQL, S3, корпоративных API и сотрудников, открывающих web-интерфейс. Размещайте сервер ближе к основной базе данных или приватной сети, а не только к пользователям интерфейса. Если DAG регулярно передаёт большие файлы в S3-совместимое хранилище, измерьте сетевую задержку и стоимость исходящего трафика.
Для персональных данных и финансовых данных учитывайте требования юрисдикции. В любом случае не открывайте PostgreSQL, Redis и внутренние порты Airflow в интернет: доступ снаружи должен быть только к SSH, HTTP и HTTPS.
Подготовка сервера
Ниже предполагается чистый сервер с Ubuntu Server 24.04 LTS, публичным IPv4-адресом и доменом airflow.example.com. До настройки Caddy создайте DNS-запись типа A, указывающую на IP-адрес VPS. Для IPv6 добавьте AAAA-запись только если сервер действительно принимает входящий IPv6-трафик.
Подключение и обновление системы
Подключитесь первоначальным пользователем, которого выдал провайдер, затем обновите пакеты. Перезагрузка нужна, если обновилось ядро или критические системные библиотеки.
ssh root@SERVER_IP
apt update && apt upgrade -y
apt install -y curl wget ca-certificates gnupg lsb-release \
git vim unzip htop jq ufw fail2ban cron
reboot
После перезагрузки подключитесь снова и создайте отдельного пользователя. Не запускайте повседневное администрирование от root: это снижает риск случайно удалить системные файлы или выполнить вредоносную команду с максимальными правами.
adduser deploy
usermod -aG sudo deploy
mkdir -p /home/deploy/.ssh
chmod 700 /home/deploy/.ssh
cp /root/.ssh/authorized_keys /home/deploy/.ssh/authorized_keys
chown -R deploy:deploy /home/deploy/.ssh
chmod 600 /home/deploy/.ssh/authorized_keys
Проверьте вход новым пользователем в отдельном терминале. Не закрывайте root-сессию, пока не убедитесь, что ключ принимается.
ssh deploy@SERVER_IP
sudo -v
exit
Защита SSH
Отключите парольную аутентификацию и прямой вход root только после проверки ключевого доступа. Создайте отдельный drop-in-файл, чтобы не редактировать основной конфиг OpenSSH.
sudo tee /etc/ssh/sshd_config.d/99-hardening.conf > /dev/null <<'EOF'
PasswordAuthentication no
KbdInteractiveAuthentication no
PermitRootLogin no
PubkeyAuthentication yes
MaxAuthTries 3
X11Forwarding no
EOF
sudo sshd -t && sudo systemctl restart ssh
Настройте UFW. Docker публикует порты через собственные правила iptables, поэтому в дальнейшем API Airflow будет привязан только к 127.0.0.1, а не к публичному интерфейсу. Внешний доступ получит только Caddy на портах 80 и 443.
sudo ufw default deny incoming
sudo ufw default allow outgoing
sudo ufw allow OpenSSH
sudo ufw allow 80/tcp
sudo ufw allow 443/tcp
sudo ufw enable
sudo ufw status verbose
Fail2ban будет блокировать IP-адреса с повторяющимися неудачными попытками SSH-входа. Для ключевой аутентификации это дополнительный, а не основной слой защиты.
sudo systemctl enable --now fail2ban
sudo fail2ban-client status sshd
Системные лимиты и каталог проекта
Airflow создаёт много файлов логов, а PostgreSQL использует файловые дескрипторы. Поднимем лимит открытых файлов для пользователя, под которым будет работать Docker Compose. Затем создадим структуру каталогов.
sudo tee /etc/security/limits.d/99-airflow.conf > /dev/null <<'EOF'
deploy soft nofile 65535
deploy hard nofile 65535
EOF
sudo mkdir -p /opt/airflow/{dags,logs,plugins,config,backups,scripts}
sudo chown -R deploy:deploy /opt/airflow
sudo chmod 750 /opt/airflow
sudo -iu deploy
cd /opt/airflow
Все последующие команды Docker Compose выполняйте пользователем deploy из каталога /opt/airflow. Не храните DAG, конфиги и бэкапы в домашнем каталоге root: это усложняет права доступа и восстановление.
Установка ПО — пошагово
В этой конфигурации используются Docker Engine 27+, Docker Compose Plugin 2.30+, PostgreSQL 16, Redis 7.4 и Apache Airflow 3.0.2. Версия Airflow закреплена намеренно: автоматическая загрузка тега latest опасна, потому что крупное обновление может изменить схему базы и поведение API.
Установка Docker Engine и Docker Compose
Добавим официальный репозиторий Docker для Ubuntu 24.04. Команды устанавливают движок контейнеров, CLI, Buildx и Compose Plugin.
sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | \
sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg
echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] \
https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io \
docker-buildx-plugin docker-compose-plugin
Добавьте пользователя deploy в группу Docker. После этого необходимо заново войти по SSH, иначе команда docker будет требовать sudo.
sudo usermod -aG docker deploy
exit
ssh deploy@SERVER_IP
docker version
docker compose version
Настройка Docker daemon
Ограничим рост JSON-логов контейнеров. Без ротации Docker-логи способны заполнить диск даже при умеренной ошибке в Python-задаче.
sudo tee /etc/docker/daemon.json > /dev/null <<'EOF'
{
"log-driver": "local",
"log-opts": {
"max-size": "20m",
"max-file": "5"
},
"live-restore": true
}
EOF
sudo systemctl restart docker
docker info | grep -E "Logging Driver|Live Restore"
Создание секретов Airflow
Airflow использует Fernet key для шифрования Connection passwords и Variable values в базе. API secret key нужен для подписи сессий и токенов. PostgreSQL и Redis также должны иметь случайные пароли. Значения нельзя коммитить в Git и публиковать в тикетах.
cd /opt/airflow
FERNET_KEY=$(docker run --rm apache/airflow:3.0.2 \
python -c "from cryptography.fernet import Fernet; print(Fernet.generate_key().decode())")
API_SECRET=$(openssl rand -hex 32)
POSTGRES_PASSWORD=$(openssl rand -base64 32 | tr -d '\n')
REDIS_PASSWORD=$(openssl rand -base64 32 | tr -d '\n')
ADMIN_PASSWORD=$(openssl rand -base64 24 | tr -d '\n')
printf '%s\n' "Generated secrets are ready."
Создайте файл .env. Замените домен, email администратора и вставьте сгенерированные значения. Пароль администратора можно заменить на собственный длинный пароль, который будет храниться в менеджере паролей.
cat > /opt/airflow/.env <<EOF
AIRFLOW_UID=$(id -u)
AIRFLOW_GID=$(id -g)
POSTGRES_DB=airflow
POSTGRES_USER=airflow
POSTGRES_PASSWORD=${POSTGRES_PASSWORD}
REDIS_PASSWORD=${REDIS_PASSWORD}
AIRFLOW_FERNET_KEY=${FERNET_KEY}
AIRFLOW_API_SECRET_KEY=${API_SECRET}
AIRFLOW_ADMIN_USERNAME=admin
AIRFLOW_ADMIN_FIRSTNAME=Airflow
AIRFLOW_ADMIN_LASTNAME=Admin
[email protected]
AIRFLOW_ADMIN_PASSWORD=${ADMIN_PASSWORD}
AIRFLOW_DOMAIN=airflow.example.com
EOF
chmod 600 /opt/airflow/.env
Подготовка пользовательского образа
Официальный образ Airflow уже содержит основной пакет, но реальные DAG почти всегда требуют дополнительных Python-библиотек. Не устанавливайте их вручную в запущенный контейнер: изменения исчезнут после пересоздания. Вместо этого создайте собственный образ.
cat > /opt/airflow/requirements.txt <<'EOF'
requests==2.32.3
pandas==2.2.3
psycopg[binary]==3.2.3
EOF
cat > /opt/airflow/Dockerfile <<'EOF'
FROM apache/airflow:3.0.2
COPY requirements.txt /requirements.txt
RUN pip install --no-cache-dir --constraint \
"https://raw.githubusercontent.com/apache/airflow/constraints-3.0.2/constraints-3.12.txt" \
-r /requirements.txt
EOF
Ограничения Airflow критичны: они фиксируют совместимые версии библиотек. При добавлении провайдеров, например для AWS, Google Cloud, Slack или Kubernetes, добавляйте их в requirements.txt, пересобирайте образ и тестируйте DAG в отдельном окружении.
Создание Docker Compose-файла
Следующий compose-файл поднимает все сервисы. Порт API Airflow опубликован только на 127.0.0.1:8080; это исключает прямой доступ из интернета. PostgreSQL и Redis вообще не публикуют порты на хост.
cat > /opt/airflow/docker-compose.yml <<'EOF'
x-airflow-common: &airflow-common
build:
context: .
env_file:
- .env
user: "${AIRFLOW_UID}:0"
restart: unless-stopped
depends_on:
postgres:
condition: service_healthy
redis:
condition: service_healthy
environment:
AIRFLOW__CORE__EXECUTOR: CeleryExecutor
AIRFLOW__DATABASE__SQL_ALCHEMY_CONN: postgresql+psycopg://airflow:${POSTGRES_PASSWORD}@postgres/airflow
AIRFLOW__CELERY__BROKER_URL: redis://:${REDIS_PASSWORD}@redis:6379/0
AIRFLOW__CELERY__RESULT_BACKEND: db+postgresql://airflow:${POSTGRES_PASSWORD}@postgres/airflow
AIRFLOW__CORE__FERNET_KEY: ${AIRFLOW_FERNET_KEY}
AIRFLOW__API__SECRET_KEY: ${AIRFLOW_API_SECRET_KEY}
AIRFLOW__CORE__LOAD_EXAMPLES: "false"
AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION: "true"
AIRFLOW__CORE__PARALLELISM: "8"
AIRFLOW__CORE__MAX_ACTIVE_TASKS_PER_DAG: "4"
AIRFLOW__CELERY__WORKER_CONCURRENCY: "2"
AIRFLOW__LOGGING__REMOTE_LOGGING: "false"
volumes:
- ./dags:/opt/airflow/dags
- ./logs:/opt/airflow/logs
- ./plugins:/opt/airflow/plugins
- ./config:/opt/airflow/config
services:
postgres:
image: postgres:16.6-alpine
restart: unless-stopped
env_file:
- .env
environment:
POSTGRES_DB: ${POSTGRES_DB}
POSTGRES_USER: ${POSTGRES_USER}
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD}
volumes:
- postgres-db-volume:/var/lib/postgresql/data
healthcheck:
test: ["CMD-SHELL", "pg_isready -U airflow -d airflow"]
interval: 10s
timeout: 5s
retries: 10
redis:
image: redis:7.4-alpine
restart: unless-stopped
env_file:
- .env
command: ["redis-server", "--appendonly", "yes", "--requirepass", "${REDIS_PASSWORD}"]
volumes:
- redis-data:/data
healthcheck:
test: ["CMD-SHELL", "redis-cli -a \"$${REDIS_PASSWORD}\" ping | grep PONG"]
interval: 10s
timeout: 5s
retries: 10
airflow-init:
<<: airflow-common
restart: "no"
command:
- bash
- -c
- |
airflow db migrate
airflow users create \
--username "$${AIRFLOW_ADMIN_USERNAME}" \
--firstname "$${AIRFLOW_ADMIN_FIRSTNAME}" \
--lastname "$${AIRFLOW_ADMIN_LASTNAME}" \
--role Admin \
--email "$${AIRFLOW_ADMIN_EMAIL}" \
--password "$${AIRFLOW_ADMIN_PASSWORD}" || true
airflow-apiserver:
<<: airflow-common
command: api-server
ports:
- "127.0.0.1:8080:8080"
healthcheck:
test: ["CMD-SHELL", "curl --fail http://localhost:8080/api/v2/monitor/health || exit 1"]
interval: 30s
timeout: 10s
retries: 5
airflow-scheduler:
<<: airflow-common
command: scheduler
airflow-dag-processor:
<<: airflow-common
command: dag-processor
airflow-worker:
<<: airflow-common
command: celery worker
stop_grace_period: 10m
airflow-triggerer:
<<: airflow-common
command: triggerer
volumes:
postgres-db-volume:
redis-data:
EOF
Перед запуском проверьте, что Compose корректно подставляет переменные и YAML не содержит синтаксических ошибок.
cd /opt/airflow
docker compose config > /tmp/airflow-rendered.yml
docker compose build
docker compose up airflow-init
docker compose up -d
docker compose ps
На первом запуске инициализация может занять несколько минут. Проверьте логи scheduler и worker. Все сервисы должны перейти в статус running, а PostgreSQL и Redis — в healthy.
docker compose logs --tail=100 airflow-scheduler
docker compose logs --tail=100 airflow-worker
docker compose exec airflow-scheduler airflow version
docker compose exec airflow-scheduler airflow db check
Конфигурация Airflow, CeleryExecutor и SSL
Тестовый DAG
Создадим минимальный DAG, который подтверждает работу scheduler, очереди Celery и worker. Он запускается вручную, поэтому не создаёт постоянную нагрузку на сервер. В Airflow 3 используйте актуальный SDK для декораторов DAG и task.
cat > /opt/airflow/dags/healthcheck_dag.py <<'EOF'
from datetime import datetime
from airflow.sdk import dag, task
@dag(
dag_id="healthcheck_celery",
start_date=datetime(2025, 1, 1),
schedule=None,
catchup=False,
tags=["system"],
)
def healthcheck_celery():
@task
def check_worker():
return "CeleryExecutor worker completed the task successfully"
check_worker()
healthcheck_celery()
EOF
cd /opt/airflow
docker compose restart airflow-scheduler airflow-dag-processor
Через 30–90 секунд DAG появится в интерфейсе. До настройки SSL можно проверить API локально с сервера. Код ответа 200 или JSON-структура с компонентами здоровья означает, что API server отвечает.
curl -fsS http://127.0.0.1:8080/api/v2/monitor/health | jq
docker compose exec airflow-scheduler airflow dags list | grep healthcheck_celery
Установка Caddy для HTTPS
Caddy автоматически получает и обновляет сертификаты Let's Encrypt. Для этого домен должен уже указывать на сервер, а порты 80 и 443 должны быть открыты в UFW и на уровне панели провайдера. Не запускайте второй веб-сервер на этих же портах.
sudo apt install -y debian-keyring debian-archive-keyring apt-transport-https
curl -1sLf 'https://dl.cloudsmith.io/public/caddy/stable/gpg.key' | \
sudo gpg --dearmor -o /usr/share/keyrings/caddy-stable-archive-keyring.gpg
curl -1sLf 'https://dl.cloudsmith.io/public/caddy/stable/debian.deb.txt' | \
sudo tee /etc/apt/sources.list.d/caddy-stable.list
sudo apt update
sudo apt install -y caddy
caddy version
Создайте Caddyfile. Замените домен и email. Заголовки ниже запрещают встраивание интерфейса в iframe и отключают определение MIME-типа браузером. Airflow остаётся на localhost, поэтому Caddy — единственная публичная точка входа.
sudo tee /etc/caddy/Caddyfile > /dev/null <<'EOF'
{
email [email protected]
}
airflow.example.com {
encode zstd gzip
reverse_proxy 127.0.0.1:8080
header {
X-Content-Type-Options "nosniff"
X-Frame-Options "DENY"
Referrer-Policy "strict-origin-when-cross-origin"
-Server
}
log {
output file /var/log/caddy/airflow-access.log
format json
}
}
EOF
sudo mkdir -p /var/log/caddy
sudo chown caddy:caddy /var/log/caddy
sudo caddy validate --config /etc/caddy/Caddyfile
sudo systemctl reload caddy
sudo systemctl enable caddy
Проверьте выдачу сертификата и обратный прокси. В ответе должна быть строка статуса HTTP/2 200 или редирект на страницу входа. Если сертификат не выдаётся, сначала проверьте DNS и доступность порта 80 извне.
curl -I https://airflow.example.com
sudo journalctl -u caddy -n 100 --no-pager
sudo ss -tulpn | grep -E ':80|:443|:8080'
Параметры CeleryExecutor
В compose-файле установлены parallelism=8, max_active_tasks_per_dag=4 и worker_concurrency=2. Это безопасная отправная точка для VPS с 4 vCPU и 8 ГБ RAM. Суммарное число одновременно работающих задач ограничивается меньшим из этих значений и доступным количеством worker slots.
Не повышайте worker_concurrency только ради высокой цифры. Если каждая задача использует pandas, Selenium, Chrome, dbt или несколько сотен мегабайт памяти, два одновременных процесса уже могут занять большую часть RAM. Сначала измерьте реальное потребление через docker stats, затем увеличивайте значения по одному параметру.
cd /opt/airflow
docker stats --no-stream
docker compose exec airflow-worker celery --app airflow.providers.celery.executors.celery_executor.app inspect ping
Безопасное хранение подключений
Не записывайте API-ключи, DSN баз данных и пароли в исходный код DAG. Для небольшого self-hosted-инстанса можно создавать Airflow Connections через web-интерфейс: значения будут зашифрованы Fernet key в PostgreSQL. Для production-среды лучше подключить внешний backend секретов: HashiCorp Vault, AWS Secrets Manager, Google Secret Manager или совместимый корпоративный сервис.
Если Fernet key потерян, существующие зашифрованные значения Connection и Variable будет невозможно расшифровать. Поэтому включайте файл .env в зашифрованный бэкап, но не храните его в публичном репозитории. При ротации Fernet key используйте штатную команду Airflow для ротации, а не простую замену переменной.
Бэкапы и обслуживание
Бэкап Docker volume сам по себе недостаточен. Для восстановления Airflow нужны база PostgreSQL, DAG-файлы, плагины, конфигурация, файл .env и сведения о версии образа. Redis обычно не является источником истины: незавершённые сообщения очереди можно потерять, но состояние задач и метаданные хранятся в PostgreSQL.
Что нужно резервировать
- Логический дамп PostgreSQL через
pg_dump. - Каталоги
dags,plugins,configиscripts. - Файл
.envс Fernet key, API secret и паролями. docker-compose.yml,Dockerfileиrequirements.txt.- При необходимости — каталог
logs, если логи нужны для аудита. - Конфигурацию Caddy из
/etc/caddy/Caddyfile.
Для хранения используем restic — инструмент дедуплицированных зашифрованных бэкапов. Репозиторий может находиться в S3-совместимом объектном хранилище или на отдельном сервере по SFTP. Ниже показан вариант с S3 API; переменные доступа должны иметь разрешения только на конкретный bucket.
Установка и настройка restic
sudo apt install -y restic
sudo mkdir -p /root/.config/restic
sudo chmod 700 /root/.config/restic
sudo tee /root/.config/restic/airflow.env > /dev/null <<'EOF'
export RESTIC_REPOSITORY="s3:https://s3.example.com/airflow-backups"
export RESTIC_PASSWORD="CHANGE_TO_A_LONG_RANDOM_RESTIC_PASSWORD"
export AWS_ACCESS_KEY_ID="CHANGE_ME"
export AWS_SECRET_ACCESS_KEY="CHANGE_ME"
EOF
sudo chmod 600 /root/.config/restic/airflow.env
sudo bash -c 'source /root/.config/restic/airflow.env && restic init'
Первый запуск restic init создаёт репозиторий. Сохраните пароль репозитория вне сервера: в менеджере секретов или офлайн-хранилище. Без него зашифрованные резервные копии восстановить нельзя.
Скрипт резервного копирования
Скрипт сначала создаёт сжатый дамп PostgreSQL внутри контейнера, затем передаёт данные в restic. Дамп создаётся в /opt/airflow/backups и автоматически удаляется после успешного завершения, чтобы не накапливать копии на VPS.
sudo tee /opt/airflow/scripts/backup-airflow.sh > /dev/null <<'EOF'
#!/usr/bin/env bash
set -euo pipefail
AIRFLOW_DIR="/opt/airflow"
BACKUP_DIR="${AIRFLOW_DIR}/backups"
DATE="$(date +%F_%H-%M-%S)"
DUMP_FILE="${BACKUP_DIR}/postgres_${DATE}.dump.gz"
source /root/.config/restic/airflow.env
mkdir -p "${BACKUP_DIR}"
cd "${AIRFLOW_DIR}"
docker compose exec -T postgres \
pg_dump -U airflow -d airflow --format=custom | gzip -9 > "${DUMP_FILE}"
restic backup \
"${DUMP_FILE}" \
"${AIRFLOW_DIR}/dags" \
"${AIRFLOW_DIR}/plugins" \
"${AIRFLOW_DIR}/config" \
"${AIRFLOW_DIR}/scripts" \
"${AIRFLOW_DIR}/docker-compose.yml" \
"${AIRFLOW_DIR}/Dockerfile" \
"${AIRFLOW_DIR}/requirements.txt" \
"${AIRFLOW_DIR}/.env" \
/etc/caddy/Caddyfile \
--tag airflow \
--tag postgres
restic forget --prune \
--keep-daily 14 \
--keep-weekly 8 \
--keep-monthly 12
rm -f "${DUMP_FILE}"
EOF
sudo chmod 700 /opt/airflow/scripts/backup-airflow.sh
sudo /opt/airflow/scripts/backup-airflow.sh
После первого бэкапа проверьте его содержимое. Команда должна показать файлы DAG, .env, Caddyfile и PostgreSQL dump. Раз в месяц выполняйте тестовое восстановление на отдельном сервере или в отдельном каталоге — бэкап, который не проверяли, не считается надёжным.
sudo bash -c 'source /root/.config/restic/airflow.env && restic snapshots'
sudo bash -c 'source /root/.config/restic/airflow.env && restic check'
Расписание через cron
Запускайте бэкап ночью, например в 03:30. Cron перенаправляет stdout и stderr в отдельный лог, который полезен при расследовании ошибки доступа к S3 или нехватки места.
sudo crontab -e
30 3 * /opt/airflow/scripts/backup-airflow.sh >> /var/log/airflow-backup.log 2>&1
Проверьте, что cron установлен и активен. Если сервер выключался в момент выполнения, обычный cron не догонит пропущенную задачу. Для более строгих требований замените cron на systemd timer с Persistent=true.
sudo systemctl status cron
sudo tail -n 50 /var/log/airflow-backup.log
Обновления Airflow и Docker-образов
Для одиночного VPS безопаснее использовать maintenance window. Сначала прочитайте changelog целевой версии Airflow, сделайте свежий бэкап и проверьте обновление на staging-сервере. Обновление Airflow может содержать миграцию схемы PostgreSQL, поэтому откат контейнера на старую версию после миграции не всегда безопасен.
cd /opt/airflow
docker compose pull postgres redis
docker compose build --pull
docker compose up -d --no-deps postgres redis
docker compose run --rm airflow-init
docker compose up -d
docker compose ps
docker compose logs --tail=100 airflow-scheduler
Для обновления Airflow измените тег в Dockerfile и URL constraints на одну конкретную протестированную версию. Не обновляйте PostgreSQL major-версии заменой тега образа: переход, например, с PostgreSQL 16 на 17 требует отдельной процедуры миграции данных.
Troubleshooting и FAQ
Почему Airflow API server постоянно перезапускается?
Сначала выполните docker compose logs airflow-apiserver и проверьте, завершилась ли инициализация базы. Частая причина — API server стартовал до миграции или не может подключиться к PostgreSQL из-за неверного пароля в .env. Проверьте docker compose exec postgres pg_isready -U airflow -d airflow, затем повторно запустите docker compose run --rm airflow-init. Не удаляйте volume PostgreSQL, если в нём есть рабочие данные.
Задачи остаются в состоянии queued и не запускаются worker?
Это обычно означает проблему Celery worker, Redis или несовместимость настроек broker URL. Проверьте статус worker через docker compose logs airflow-worker и убедитесь, что Redis отвечает командой redis-cli ping внутри контейнера. Также проверьте одинаковые значения AIRFLOW__CELERY__BROKER_URL у scheduler и worker. Если worker был остановлен во время задачи, перезапустите его; задачи с корректно настроенными retries будут повторены планировщиком.
Почему DAG не виден в web-интерфейсе?
Проверьте синтаксис Python-файла и логи сервиса airflow-dag-processor. Ошибка импорта библиотеки, которой нет в Dockerfile, делает DAG невидимым или помечает его как broken. Выполните docker compose exec airflow-scheduler airflow dags list-import-errors. Убедитесь также, что файл находится в /opt/airflow/dags, имеет расширение .py и доступен пользователю контейнера.
Почему Caddy не получает SSL-сертификат?
Проверьте, что A-запись домена указывает на IP VPS, а порты 80 и 443 доступны из интернета. Команда sudo ss -tulpn должна показывать Caddy на этих портах. Если ранее был установлен Nginx или Apache, остановите его либо перенастройте. Посмотрите ошибки через sudo journalctl -u caddy -n 100. Cloudflare и другие DNS-прокси также могут влиять на проверку; для диагностики временно используйте обычную DNS-запись.
Какой VPS-конфиг минимально подойдёт?
Для тестов и нескольких лёгких DAG минимально подойдут 2 vCPU, 4 ГБ RAM и 50 ГБ SSD. Однако для рабочего Airflow с PostgreSQL, Redis и CeleryExecutor лучше начинать с 4 vCPU, 8 ГБ RAM и 80–100 ГБ NVMe. Оставляйте минимум 20–30% свободного диска для логов, Docker-образов, временных файлов и дампов базы. Если задачи используют pandas или браузерную автоматизацию, важнее увеличить RAM.
Что выбрать — VPS или dedicated для этой задачи?
VPS подходит большинству небольших и средних установок Airflow: расписания, API-интеграции, ETL умеренного объёма и несколько worker-процессов. Dedicated-сервер нужен при постоянной CPU-нагрузке, больших объёмах локальных данных, памяти от 32 ГБ, GPU-задачах или требованиях к стабильно высокой дисковой производительности. Альтернативный путь — оставить Airflow на VPS, а тяжёлые вычисления отправлять во внешние Kubernetes jobs, Spark, облачные batch-сервисы или отдельные workers.
Что делать, если сервер заканчивает память и контейнеры получают OOMKilled?
Выполните docker stats --no-stream, free -h и dmesg -T | grep -i oom, чтобы определить виновника. Чаще всего память потребляет Python-задача, а не сам scheduler. Снизьте AIRFLOW__CELERY__WORKER_CONCURRENCY до 1, ограничьте число параллельных задач и добавьте RAM. Swap может временно защитить от аварийного завершения, но не заменяет память: интенсивная работа через swap делает scheduler нестабильным.
Как восстановить Airflow из бэкапа после потери сервера?
На новом сервере установите Docker и restic, восстановите файлы из репозитория в /opt/airflow, затем поднимите только PostgreSQL. Распакуйте PostgreSQL dump и импортируйте его через pg_restore в пустую базу. После этого запустите airflow-init, затем остальные сервисы. Важно восстановить исходный .env с тем же Fernet key: без него сохранённые подключения и переменные нельзя будет расшифровать.
Выводы и следующие шаги
Теперь на VPS работает production-ориентированная установка Apache Airflow: PostgreSQL хранит метаданные, Redis обслуживает CeleryExecutor, отдельные worker-контейнеры исполняют DAG, а Caddy защищает интерфейс HTTPS-сертификатом. Конфигурация не открывает внутренние сервисы в интернет и включает резервное копирование критичных данных.
- Перенесите DAG в Git-репозиторий и настройте CI-проверки импорта, линтеры и тесты перед доставкой файлов на сервер.
- Подключите внешний backend секретов, если в Airflow появятся production API-ключи, токены и доступы к базам данных.
- При росте нагрузки вынесите Celery workers на отдельные серверы, настройте remote logging в объектное хранилище и добавьте мониторинг через Prometheus, Grafana или внешний сервис алертов.