Чому конвеєрам CI/CD потрібні передбачувані серверні ресурси
Jenkins і GitLab Runner автоматизують складання програмного забезпечення, тести, створення образів контейнерів, розгортання та перевірки інфраструктури. Використання ними ресурсів часто має стрибкоподібний характер: push від розробника може одночасно запустити компіляцію, завантаження залежностей, браузерні тести, Docker-збірки, сканування безпеки та завантаження артефактів.
Повільний CI-сервер коштує інженерного часу. Якщо збірка, яка має завершуватися за 8 хвилин, триває 25 хвилин через нестачу CPU для runner-ів або насичення дискового I/O, розробники довше чекають на зворотний зв’язок, а черги релізів зростають. Виділені сервери корисні для CI/CD, оскільки надають ексклюзивні ядра CPU, пам’ять, NVMe-сховище та мережеву пропускну здатність без конкуренції з боку інших орендарів.
Jenkins зазвичай використовується як центральний контролер автоматизації з динамічними агентами, тоді як GitLab Runner виконує завдання, визначені у .gitlab-ci.yml. Обидва можуть працювати безпосередньо в Linux, у Docker-контейнерах або через Kubernetes. Для більшості малих і середніх команд Linux-хост із runner-ами на основі Docker простіше підтримувати, ніж повний кластер Kubernetes.
VPS чи виділений сервер для Jenkins і GitLab Runner
Використовуйте VPS для легких CI-навантажень
VPS достатньо, коли платформа CI запускає обмежену кількість легких завдань і час збірки не є критично чутливим. VPS із 4 vCPU, 8 ГБ RAM і NVMe-сховищем може підтримувати контролер Jenkins із 2-4 помірними виконавцями збірок або GitLab Runner, який обробляє кілька завдань Node.js, Python, Go, лінтингу та модульного тестування.
- Малі команди з менш ніж 10 активними розробниками.
- 2-10 одночасних завдань із коротким часом збірки.
- Статичні вебсайти, API, публікація пакетів і базові конвеєри тестування.
- Зовнішні реєстри контейнерів і сховища артефактів зменшують потребу в локальному диску.
- Автоматизація не для production, розгортання в staging або заплановані завдання обслуговування.
Обирайте VPS, лише якщо його продуктивність CPU, ліміти I/O та виділена пропускна здатність задокументовані. Системи збірки можуть швидко виявити перепроданий CPU або слабке спільне сховище, особливо під час створення Docker-образів.
Переходьте на виділений bare metal для постійних збірок
Виділений сервер є кращим вибором для безперервної компіляції, паралельного виконання тестів, великих Docker-збірок, кросплатформних збірок для Android або суміжних з iOS, браузерного тестування, баз даних для інтеграційних тестів і власних реєстрів контейнерів. Ексклюзивне обладнання запобігає затримкам конвеєрів релізів через стрибки використання диска або CPU іншими орендарями.
- Понад 15-20 одночасних завдань, інтенсивних щодо CPU.
- Часті збірки Docker-образів із багатошаровими кешами.
- Компіляція Java, .NET, Rust, C++, Android або великих монорепозиторіїв.
- Навантаження браузерного тестування Playwright, Cypress, Selenium або інших інструментів.
- Приватні артефакти збірки, секрети, ключі підпису або регульований вихідний код, що потребують сильнішої ізоляції.
- Пули автмасштабування GitLab Runner, агенти Jenkins або кілька команд проєктів, що спільно використовують одну платформу.
Для CI/CD кількість ядер CPU та швидке локальне NVMe-сховище зазвичай важливіші за дуже високу мережеву пропускну здатність. Пропускна здатність мережі стає важливішою, коли конвеєри неодноразово завантажують великі базові образи, вивантажують багатогігабайтні артефакти, дзеркалять репозиторії або публікують релізи програмного забезпечення.
Вибір розміру CI/CD-сервера за кількістю одночасних завдань збірки
Для до 10 одночасних легких завдань достатньо VPS із 4 vCPU / 8 ГБ / 160 ГБ NVMe; понад 30 одночасних завдань або за постійних збірок контейнерів використовуйте виділений сервер щонайменше з 16 фізичними або високопродуктивними ядрами CPU, 64 ГБ RAM і 1 ТБ NVMe.
| Одночасні завдання збірки | vCPU / ядра CPU | RAM | Диск | Щомісячний трафік |
|---|---|---|---|---|
| До 10 легких завдань | 4 vCPU | 8 ГБ | 160 ГБ NVMe | 5 ТБ |
| 10-30 змішаних збірок | 8 vCPU або 8 виділених ядер | 32 ГБ | 500 ГБ NVMe | 10 ТБ |
| 30-80 завдань, інтенсивних щодо CPU | 16 виділених ядер CPU | 64 ГБ | 1 ТБ NVMe | 20 ТБ |
| 80-150 великих збірок і наборів тестів | 24-32 виділених ядер CPU | 128 ГБ | 2 x 1,92 ТБ NVMe RAID 1 | 30 ТБ |
Ці показники передбачають завдання на базі Linux із Docker-виконавцями та кешами збірки, що зберігаються локально. Конвеєр, який компілює великий монорепозиторій Java або запускає браузерні тести, може споживати 2-4 ядра CPU та 4-8 ГБ RAM на одне завдання. Налаштовуйте паралельність на основі виміряних показників CPU, пам’яті та часу очікування диска, а не лише кількості репозиторіїв.
Рекомендована архітектура
Відокремте площину керування від потужних агентів збірки
Для малих інсталяцій Jenkins або GitLab Runner можуть працювати на одному хості. Для production-конвеєрів за можливості тримайте контролер Jenkins або екземпляр GitLab окремо від виконавців збірки з високим рівнем ризику. Скрипти збірки виконують код репозиторію, тому недовірена гілка може споживати диск, намагатися отримати мережевий доступ або використовувати слабкі дозволи runner-а.
Практична конфігурація використовує невеликий контролер, один або кілька виділених серверів збірки, об’єктне сховище або віддалений репозиторій артефактів і приватний реєстр контейнерів. Jenkins може розподіляти роботу на SSH, Docker або вхідні агенти. GitLab Runner може використовувати виконавці Docker, shell, Kubernetes або віртуальних машин. Docker зазвичай є найпростішим балансом ізоляції та швидкості.
dnsСервер під цю інструкцію
Відповідні тарифи перевірених провайдерів, ціни оновлюються щодня.
Порівняти:Vultr vs ContaboVultr vs UltaHostУсі виділені сервери
Партнерські посилання: за покупку ми можемо отримати комісію, ціна для вас не змінюється.
Використовуйте локальний NVMe для кешів, але не як єдину копію артефактів релізу
Зберігайте шари Docker, кеші менеджерів пакетів, кеші компіляторів і тимчасові тестові дані на локальному NVMe. Зберігайте артефакти релізів, резервні копії та довгострокові журнали у зовнішньому сховищі. Це підтримує швидкість CI-хоста та водночас запобігає видаленню критичних результатів збірки через відмову обладнання або випадкове завдання очищення.
Ретельно плануйте дисковий простір. Шари Docker-образів, Git checkout-и, результати збірок і звіти тестів можуть заповнювати диски швидше, ніж очікується. Резервуйте щонайменше 25% вільного простору для тимчасових файлів, продуктивності файлової системи та безпечного очищення образів.
Покрокові рекомендації з налаштування
1. Підготуйте захищений Linux-хост
Ubuntu Server 24.04 LTS або Debian 12 є практичним вибором, оскільки пакети Docker, Jenkins і GitLab Runner добре підтримуються. Створіть адміністратора без root-прав, використовуйте SSH-ключі, вимкніть автентифікацію за паролем, увімкніть firewall і застосовуйте оновлення безпеки.
sudo apt update && sudo apt -y upgrade && sudo apt install -y ufw curl ca-certificates gnupgДозволяйте лише необхідний доступ. Наприклад, відкривайте SSH лише з довірених адміністративних мереж і публікуйте Jenkins через reverse proxy з TLS, замість того щоб залишати порт 8080 відкритим в інтернеті.
2. Встановіть Docker і налаштуйте сховище
Docker ізолює більшість збірок і спрощує очищення. Розмістіть дані Docker на найшвидшому томі NVMe. Якщо доступний окремий змонтований том, налаштуйте Docker data-root до використання у production.
curl -fsSL https://get.docker.com | sudo sh && sudo systemctl enable --now dockerПеревіряйте вільне сховище за допомогою df -h, а використання шарів контейнерів — за допомогою docker system df. Не запускайте регулярно docker system prune -a без правил зберігання, оскільки ця команда може видалити кеші, потрібні активним або частим конвеєрам.
3. Встановіть GitLab Runner із Docker executor
GitLab Runner зазвичай має використовувати Docker executor для завдань репозиторіїв. Реєструйте кожен runner на рівні проєкту, групи або екземпляра відповідно до того, кому має бути дозволено його використовувати. Використовуйте захищені runner-и для облікових даних розгортання та завдань production-релізів.
sudo apt install -y gitlab-runner && sudo gitlab-runner register --url https://gitlab.example.com --token YOUR_RUNNER_TOKEN --executor docker --docker-image alpine:3.20Установіть розумний ліміт одночасних завдань у /etc/gitlab-runner/config.toml. Почніть з одного завдання на 2 ядра CPU для конвеєрів з інтенсивною компіляцією, а потім збільшуйте лише після спостереження за завантаженням CPU, використанням пам’яті та очікуванням I/O.
4. Встановлюйте Jenkins, лише якщо він відповідає робочому процесу
Jenkins цінний, коли командам потрібні широкі інтеграції плагінів, складні багатогілкові конвеєри, спеціальні погодження або гібридні середовища. Для великих розгортань запускайте контролер окремо від виконавців і підтримуйте плагіни в актуальному стані, оскільки плагіни розширюють поверхню атаки.
docker run -d --name jenkins -p 127.0.0.1:8080:8080 -v jenkins_home:/var/jenkins_home --restart unless-stopped jenkins/jenkins:lts-jdk17Розмістіть Nginx або інший reverse proxy перед Jenkins, завершуйте TLS на ньому та створюйте резервні копії тому Jenkins home. Не відкривайте контролер напряму без автентифікації, TLS і контролю доступу.
5. Додавайте кешування цілеспрямовано
Кешування часто скорочує час конвеєру більше, ніж додавання ядер CPU. Кешуйте каталоги залежностей, такі як кеш npm, репозиторій Maven .m2, кеші Gradle, pip wheels і завантаження модулів Go. Використовуйте ключі кешу на основі lockfile-ів, щоб зміни залежностей робили застарілі кеші недійсними.
ccache --set-config=max_size=20G && ccache --set-config=compression=trueДля Docker-збірок увімкніть BuildKit і за потреби використовуйте експорти кешу до реєстру або локального сховища. Не допускайте потрапляння секретів у шари образів, журнали збірок і архіви кешу.
6. Встановіть політики зберігання та очищення
Встановлюйте дати завершення зберігання артефактів для кожного проєкту. Зберігайте артефакти релізів довше за звіти тестів, а журнали — достатньо довго для усунення несправностей і виконання вимог аудиту. Очищуйте покинуті робочі простори та старі Docker-образи за розкладом, переконавшись, що від них не залежать активні завдання.
sudo docker image prune -af --filter until=168hВиконуйте очищення у періоди низької активності. Відстежуйте вільний дисковий простір до того, як він впаде нижче 20%; повністю заповнений Docker-хост може призвести до збоїв збірок, пошкодження тимчасових операцій і неможливості перезапуску сервісів.
7. Моніторте хост і чергу конвеєрів
Відстежуйте завантаження CPU, тиск на пам’ять, затримку диска, вільний дисковий простір, використання мережі, тривалість черги runner-ів, частку невдалих завдань і частку влучань кешу. Prometheus із node_exporter і Grafana є поширеним поєднанням для самостійного хостингу. Як мінімум, використовуйте iostat, vmstat і docker stats у пікові періоди збірок.
sudo apt install -y sysstat && iostat -xz 1Поради з оптимізації продуктивності
- Узгоджуйте паралельність із кількістю ядер: Починайте паралельність збірок із високим навантаженням на CPU приблизно з одного завдання на 2 ядра. Виділений сервер із 16 ядрами часто працює краще з 8 важкими паралельними збірками, ніж із 20 збірками, що конкурують між собою.
- Використовуйте NVMe-сховище: Git checkout-и, розпакування залежностей, шари Docker і тестові бази даних створюють випадковий I/O. NVMe забезпечує значно нижчу затримку, ніж HDD-сховище.
- Використовуйте поверхневі клонування вибірково: Установлюйте глибину Git для завдань, яким не потрібна повна історія. Не використовуйте поверхневі клонування для процесів версіонування, яким потрібні теги або історія комітів.
- Тримайте runner-и близько до Git і реєстрів: Нижча затримка покращує час клонування, завантаження образів і вивантаження артефактів. Вимірюйте швидкість передавання, перш ніж вважати CPU вузьким місцем.
- Розділяйте незалежні етапи: Запускайте лінтинг, модульні тести, збірки пакетів і сканування безпеки паралельно лише тоді, коли це підтримує ємність сервера.
- Використовуйте виділені runner-и для дорогих завдань: Призначайте браузерні тести, інтеграційні тести баз даних і підписування релізів runner-ам із тегами, щоб легкі завдання не блокувалися.
- Обмежуйте обсяг журналів: Детальний налагоджувальний вивід споживає диск і сповільнює обробку журналів. Вмикайте налагоджувальне логування лише під час розслідування збою.
Практики безпеки та надійності
CI runner-и виконують код із репозиторіїв, зокрема merge request-ів і функціональних гілок. Вважайте кожну збірку потенційно недовіреною. Уникайте привілейованих Docker-завдань, якщо вони не є суворо необхідними; привілейовані контейнери можуть значно послабити ізоляцію хоста. Використовуйте захищені гілки, теги захищених runner-ів, замасковані змінні, короткострокові облікові дані та окремі runner-и для публічних або недовірених проєктів.
Створюйте резервні копії конфігурації Jenkins, конфігурації GitLab Runner, маніфестів розгортання, матеріалів підпису та критичних метаданих артефактів. Тестуйте відновлення, а не лише створення резервних копій. Використовуйте NVMe RAID 1 для серверів, де доступність кешу збірок важлива, але пам’ятайте, що RAID не є резервною копією.
Оновлюйте операційну систему, програмне забезпечення runner-ів, Docker engine, ядро Jenkins і плагіни за визначеним розкладом. Фіксуйте образи збірки за версією або digest замість постійного використання latest, який може несподівано змінити поведінку збірки.
Поширені проблеми CI/CD-серверів
- Надмірне призначення runner-ів: Висока паралельність може збільшити загальний час збірки через конкуренцію за CPU, swap і черги диска.
- Використання одного runner-а для всього: Поєднання завдань розгортання, недовірених merge request-ів і дорогих браузерних тестів збільшує проблеми безпеки та планування.
- Ігнорування зростання використання диска: Шари Docker, артефакти та робочі простори можуть спожити сотні гігабайтів протягом кількох тижнів.
- Розміщення секретів у файлах репозиторію: Використовуйте змінні CI, менеджер секретів або короткострокові токени ідентифікації замість закомічених облікових даних.
- Запуск привілейованих контейнерів за замовчуванням: Використовуйте мінімальні дозволи, необхідні для кожного завдання.
- Пропуск резервного копіювання стану Jenkins: Визначення конвеєрів можуть зберігатися в Git, але облікові дані, конфігурація плагінів, історія завдань і налаштування контролера часто там не зберігаються.
- Вибір HDD-сховища для важких збірок: Повільний випадковий I/O впливає на Docker-збірки, встановлення залежностей і паралельні тести сильніше, ніж очікують багато команд.
Вибір сервера для CI/CD
Тарифи VPS підходять для невеликого контролера Jenkins, GitLab Runner для легких проєктів або автоматизації розробки. Для спільної інженерної платформи з постійними збірками виділені сервери забезпечують стабільність CPU, запас RAM, ємність NVMe та ізоляцію, необхідні для передбачуваної тривалості конвеєрів.
Почніть із вимірювання середньої кількості одночасних завдань, пікового використання CPU, пам’яті на завдання, розміру репозиторію, зберігання артефактів і щомісячного передавання даних. Виберіть достатню ємність для пікової активності плюс запас 25-30%, а потім додавайте виділені вузли runner-ів у міру зростання черг збірок.