Kubernetes на виділених серверах: міць і контроль bare metal

Переконайтеся, що br_netfilter та overlay модулі завантажені:

lsmod | grep br_netfilter
lsmod | grep overlay

1.4. Встановлення Середовища Виконання Контейнерів (Container Runtime)

Kubernetes використовує середовище виконання контейнерів для запуску подів. Ми будемо використовувати containerd, який став рекомендованим середовищем виконання.

Додайте репозиторій Docker GPG ключ:

sudo mkdir -p /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \
  $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update

Встановіть containerd.io:

sudo apt install -y containerd.io

Згенеруйте та налаштуйте конфігураційний файл containerd:

sudo containerd config default | sudo tee /etc/containerd/config.toml
sudo sed -i 's/SystemdCgroup = false/SystemdCgroup = true/g' /etc/containerd/config.toml
sudo systemctl restart containerd
sudo systemctl enable containerd

Переконайтеся, що containerd працює:

sudo systemctl status containerd

1.5. Встановлення Kubelet, Kubeadm та Kubectl

Ці три компоненти є основними для роботи з Kubernetes.

• kubelet: Агент, який запускається на кожному вузлі кластера. Він стежить за станом подів і взаємодіє з Control Plane.
• kubeadm: Інструмент для швидкого розгортання кластера.
• kubectl: Утиліта командного рядка для взаємодії з кластером Kubernetes.

Додайте ключ Google Cloud GPG:

curl -fsSL https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-archive-keyring.gpg

Додайте репозиторій Kubernetes:

echo "deb [signed-by=/etc/apt/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list

Оновіть список пакетів та встановіть компоненти Kubernetes:

sudo apt update
sudo apt install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl

apt-mark hold запобігає автоматичному оновленню цих пакетів, що важливо для стабільності кластера.

Перезавантажте сервери, щоб переконатися, що всі зміни застосовані коректно (опціонально, але рекомендується).

sudo reboot

Крок 2: Ініціалізація Control Plane (Майстер-вузла)

Ці команди виконуються тільки на Control Plane вузлі (192.168.1.100).

2.1. Ініціалізація Кластера

Ініціалізуйте Control Plane вузол. Використовуйте флаг --pod-network-cidr для вказівки діапазону IP-адрес для подів, який буде використовуватися вибраним CNI плагіном (наприклад, Calico використовує 192.168.0.0/16).

sudo kubeadm init --apiserver-advertise-address=192.168.1.100 --pod-network-cidr=192.168.0.0/16

Замініть 192.168.1.100 на фактичну IP-адресу вашого Control Plane вузла. Ця команда займе деякий час. Після завершення ви побачите повідомлення про успішну ініціалізацію та команди для налаштування kubectl і приєднання worker-вузлів. Обов'язково збережіть ці команди!

2.2. Налаштування Kubeconfig для Користувача

Щоб почати використовувати кластер, виконайте наступні команди від імені звичайного користувача (не root):

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

2.3. Встановлення CNI Плагіна (Calico)

Для того щоб поди могли спілкуватися один з одним, необхідний плагін Container Network Interface (CNI). Ми використовуємо Calico, оскільки він забезпечує надійну мережеву політику і добре працює на bare metal.

kubectl apply -f https://raw.githubusercontent.com/projectcalico/calico/v3.25.0/manifests/calico.yaml

Переконайтеся, що всі поди Calico запущені. Це може зайняти кілька хвилин.

kubectl get pods --all-namespaces

Ви повинні побачити поди з префіксом calico-node- та інші системні поди в стані Running.

2.4. Перевірка Стану Кластера

Після встановлення CNI плагіна, ваш Control Plane вузол повинен перейти в статус Ready.

kubectl get nodes

Вивід повинен показати ваш Control Plane вузол зі статусом Ready.

Крок 3: Приєднання Worker-вузлів до Кластера

Ці команди виконуються тільки на Worker-вузлах (192.168.1.101, 192.168.1.102). Використовуйте команду kubeadm join, яку ви отримали після ініціалізації Control Plane вузла. Вона буде виглядати приблизно так:

sudo kubeadm join 192.168.1.100:6443 --token abcdef.0123456789abcdef \
    --discovery-token-ca-cert-hash sha256:77649d216d7f00d83b544b6113b295982e05713437f1911961559c381e5b1234

Замініть токен та хеш на ті, що були згенеровані у вас. Якщо ви втратили цю команду, ви можете згенерувати новий токен на Control Plane вузлі:

kubeadm token create --print-join-command

Після виконання команди kubeadm join на кожному Worker-вузлі, вони повинні приєднатися до кластера.

Крок 4: Перевірка Кластера

Поверніться на Control Plane вузол (192.168.1.100) та перевірте стан вузлів.

kubectl get nodes

Ви повинні побачити всі ваші вузли (Control Plane та Worker) зі статусом Ready.

NAME               STATUS   ROLES           AGE     VERSION
master-node        Ready    control-plane   5m      v1.26.1
worker-node-1      Ready    <none>          2m      v1.26.1
worker-node-2      Ready    <none>          1m      v1.26.1

Перевірте стан всіх подів в кластері:

kubectl get pods --all-namespaces

Всі поди повинні бути в стані Running.

Вітаємо! Ваш базовий кластер Kubernetes на виділених серверах успішно розгорнуто.

Подальше Налаштування та Кращі Практики для Kubernetes на Bare Metal

Після успішного розгортання базового кластера Kubernetes на виділених серверах, вам, ймовірно, потрібно буде виконати додаткові налаштування для забезпечення його функціональності, продуктивності, безпеки та відмовостійкості в production-середовищі. Ось основні області, на які варто звернути увагу.

1. Рішення для Постійного Зберігання (Persistent Storage)

Поди в Kubernetes ефемерні, і їхні дані втрачаються під час перезапуску або перепланування. Для збереження даних програм необхідні постійні томи (Persistent Volumes). На bare metal у вас є кілька опцій:

• HostPath / Local Persistent Volumes: Найпростіше рішення. Дані зберігаються на локальному диску worker-вузла. Підходить для невеликих кластерів або тестових середовищ, але має обмеження: якщо под переноситься на інший вузол, дані не переїдуть з ним, і якщо вузол вийде з ладу, дані будуть втрачені. Local Persistent Volumes оператор може автоматизувати управління такими томами.
• NFS (Network File System): Популярне і відносно просте в налаштуванні рішення. Виділений сервер з NFS-шарою може служити централізованим сховищем для всіх подів. Потрібен NFS-сервер і provisioner в Kubernetes. Забезпечує розділений доступ і переносність даних між вузлами.
• iSCSI: Блокове сховище, яке може бути надане окремим сервером або СЗД. Дає кращу продуктивність, ніж NFS для деяких завдань.
• Розподілені Файлові Системи (Ceph, GlusterFS): Ці рішення перетворюють диски декількох вузлів кластера в єдине, відмовостійке і масштабоване сховище. Вони складніші в налаштуванні та управлінні, але забезпечують високу доступність даних, реплікацію і масштабованість, що ідеально підходить для production-середовищ з високими вимогами до сховища. Проекти типу Rook.io спрощують розгортання Ceph в K8s.

Вибір рішення залежить від вимог вашої програми до продуктивності, доступності та обсягу даних. Для production-кластера, що працює на виділених серверах Valebyte, рекомендується розглянути Ceph або виділений NFS-сервер.

2. Балансування Навантаження (Load Balancing) і Вхідний Трафік (Ingress)

Як користувачі будуть отримувати доступ до ваших програм, запущених в Kubernetes? На bare metal немає вбудованого хмарного балансувальника навантаження. Вам знадобляться рішення:

• MetalLB: Це рішення реалізує Service Type LoadBalancer для кластерів, що працюють на bare metal. MetalLB дозволяє вашим сервісам отримувати зовнішні IP-адреси, розподіляючи трафік за допомогою протоколів ARP або BGP. Це must-have для production-кластерів на виділених серверах.
• Ingress-контролер (Nginx, HAProxy, Traefik): Ingress Controller працює як точка входу для HTTP/HTTPS трафіку у ваш кластер. Він маршрутизує запити до відповідних сервісів на основі правил (доменне ім'я, шлях URL). Найбільш популярним є Nginx Ingress Controller. Він може працювати в зв'язці з MetalLB для отримання зовнішньої IP-адреси.
• DNS: Переконайтеся, що ваш DNS-провайдер налаштований для розв'язання доменних імен в IP-адреси, надані MetalLB або Ingress Controller.

3. Моніторинг та Логування

Для ефективного управління кластером вкрай важливі системи моніторингу і збору логів.

• Prometheus & Grafana: Стандартне рішення для моніторингу кластерів Kubernetes. Prometheus збирає метрики з усіх компонентів K8s і ваших програм, а Grafana надає потужні дашборди для візуалізації цих метрик. Включає kube-state-metrics для метрик K8s API і node-exporter для метрик вузлів.
• ELK Stack (Elasticsearch, Logstash, Kibana) / Loki & Grafana: Для централізованого збору та аналізу логів.
  • ELK: Logstash збирає логи з усіх подів і вузлів, Elasticsearch індексує їх, а Kibana дозволяє шукати і візуалізувати логи.
  • Loki & Grafana: Більш легка альтернатива для логів, розроблена спеціально для Kubernetes і добре інтегрується з Grafana.

4. Безпека

Безпека є пріоритетом. На bare metal ви несете повну відповідальність за неї.

• RBAC (Role-Based Access Control): Налаштуйте RBAC для обмеження доступу користувачів і програм до ресурсів кластера Kubernetes. Надавайте тільки мінімально необхідні права.
• Мережеві Політики (Network Policies): Використовуйте Network Policies для контролю мережевого трафіку між подами в кластері, а також між подами і зовнішніми ресурсами. Це допомагає ізолювати програми і запобігти несанкціонованому доступу. Calico, крім CNI, також надає потужні мережеві політики.
• Оновлення: Регулярно оновлюйте ОС, Docker/containerd і компоненти Kubernetes. Використовуйте apt-mark hold з обережністю і плануйте оновлення кластера.
• Сканування вразливостей: Використовуйте інструменти для сканування образів контейнерів на предмет вразливостей.
• Secrets Management: Використовуйте Kubernetes Secrets або зовнішні системи управління секретами (Vault) для зберігання чутливих даних, таких як паролі та ключі API.
• Брандмауери: Налаштуйте суворі правила брандмауера на рівні ОС (UFW, firewalld) і на рівні мережі, відкриваючи тільки необхідні порти.

5. Резервне Копіювання та Відновлення

Втрата Control Plane може призвести до непрацездатності кластера. Важливо регулярно створювати резервні копії.

• Резервне копіювання etcd: etcd — це розподілене сховище ключів-значень, де зберігається весь стан кластера Kubernetes. Регулярно робіть знімки etcd і зберігайте їх у безпечному місці. kubeadm включає команди для створення і відновлення резервних копій etcd.
• Резервне копіювання Persistent Volumes: Резервне копіювання даних, що зберігаються у ваших Persistent Volumes. Методи залежать від обраного рішення для зберігання (знімки томів, rsync, спеціальні інструменти).
• Velero: Інструмент для резервного копіювання та відновлення ресурсів кластера Kubernetes і постійних томів.

6. Масштабування та Відмовостійкість Control Plane

Для production-середовища один Control Plane вузол є точкою відмови. Рекомендується:

• Багатовузловий Control Plane: Розгорніть 3 або 5 Control Plane вузлів для забезпечення високої доступності. Це вимагає зовнішнього балансувальника навантаження (наприклад, HAProxy або Virtual IP) для розподілу трафіку до API-серверів Control Plane.
• Автоматичне масштабування: Вивчіть Horizontal Pod Autoscaler (HPA) для масштабування подів і Cluster Autoscaler (хоча на bare metal його реалізація більш складна, ніж в хмарі) для масштабування вузлів.

Впровадження цих практик дозволить вам створити не просто працюючий, але і надійний, безпечний і масштабований кластер Kubernetes на виділених серверах.

Valebyte.com: Ваш Надійний Партнер для Kubernetes на Bare Metal

Розгортання та керування кластером Kubernetes на виділених серверах – це складне, але дуже корисне завдання. Valebyte.com прагне надати надійну та високопродуктивну апаратну основу, яка стане фундаментом для вашої інфраструктури Kubernetes.

Широкий вибір виділених серверів

Valebyte.com пропонує широкий асортимент виділених серверів, які ідеально підходять для побудови кластерів Kubernetes будь-якого масштабу: від невеликих dev/test-кластерів до високонавантажених production-середовищ. Наші конфігурації охоплюють різні потреби:

• Процесори: Від економічних Intel Xeon E3 для початкових вузлів до потужних багатоядерних Intel Xeon E5/E-22xx/E-23xx і AMD Ryzen/EPYC, здатних обробляти найвибагливіші робочі навантаження. Вибирайте конфігурації з 4, 8, 16 ядрами та більше, залежно від ваших потреб у обчислювальній потужності.
• Оперативна Пам'ять (RAM): Доступні сервери з об'ємом RAM від 8 ГБ до 128 ГБ і більше. Для Control Plane вузлів рекомендуються 8-16 ГБ, для Worker-вузлів — 16-64 ГБ і вище, особливо якщо ви плануєте запускати Java-додатки, бази даних або AI/ML задачі. Ми пропонуємо ECC RAM для максимальної стабільності.
• Системи зберігання даних: Ми надаємо сервери зі швидкими NVMe SSD та SSD-накопичувачами різних об'ємів. NVMe диски забезпечують максимальну швидкість читання/запису, що критично важливо для роботи etcd на Control Plane і для продуктивності додатків на Worker-вузлах. Також доступні конфігурації з класичними HDD для великих об'ємів даних, де швидкість не є критичною.
• Мережеві інтерфейси: Всі наші сервери оснащені гігабітними мережевими портами, з можливістю апгрейду до 10 Гбіт/с для високопродуктивних кластерів, що потребують швидкої міжсерверної комунікації та обробки великого об'єму трафіку.

Ви можете ознайомитися з повним каталогом і вибрати відповідні конфігурації на нашій сторінці виділених серверів.

Чому Valebyte.com — чудовий вибір для Kubernetes?

• Надійне обладнання: Ми використовуємо тільки перевірене серверне обладнання провідних виробників, гарантуючи стабільність і довговічність роботи вашого кластера.
• Гнучкі конфігурації: Можливість тонкого налаштування серверів під ваші специфічні вимоги. Ви можете вибрати оптимальне поєднання CPU, RAM і дисків.
• Високошвидкісна мережа: Наші дата-центри оснащені сучасною мережевою інфраструктурою, що забезпечує низьку затримку та високу пропускну здатність, що є фундаментом для продуктивного кластера Kubernetes.
• Передбачувані ціни: З Valebyte.com ви отримуєте чітку та прозору модель ціноутворення без прихованих платежів, що дозволяє точно планувати бюджет і досягати значної економії в порівнянні з хмарними сервісами.
• Технічна підтримка: Наша команда готова допомогти вам з питаннями, що стосуються апаратного забезпечення та мережевої інфраструктури, гарантуючи безперебійну роботу ваших серверів.

Коли VPS-хостинг може бути альтернативою?

Хоча ця стаття присвячена Kubernetes на виділених серверах, для дуже маленьких тестових або навчальних кластерів, а також для окремих мікросервісів, які не вимагають високої продуктивності та відмовостійкості, ви можете розглянути наш VPS-хостинг. Віртуальні приватні сервери можуть бути зручні для швидкого старту та експериментів, але для production-навантажень і серйозних кластерів Kubernetes завжди кращі виділені сервери, оскільки вони забезпечують гарантовані ресурси та кращу продуктивність.

Вибір Valebyte.com для розміщення вашого кластера Kubernetes на bare metal — це інвестиція в продуктивність, контроль і економічну ефективність вашої IT-інфраструктури.

Висновок

Розгортання Kubernetes на виділених серверах являє собою потужну альтернативу хмарним сервісам, пропонуючи суттєві переваги в таких ключових областях, як економічна ефективність, продуктивність, повний контроль над інфраструктурою і суверенітет даних. Хоча цей підхід вимагає великих зусиль і технічних знань на етапі налаштування та подальшого управління, довгострокові вигоди часто переважують початкові витрати.

Ми докладно розглянули, чому варто вибрати bare metal для вашого кластера K8s, які апаратні та програмні вимоги необхідно дотримати, і покроково пройшли процес ініціалізації кластера за допомогою kubeadm. Також ми обговорили важливі аспекти подальшого налаштування, включаючи сховище, балансування навантаження, моніторинг, логування і безпеку, які критично важливі для стабільної роботи production-кластера.

Valebyte.com виступає в якості надійного партнера, надаючи високопродуктивні і гнучко налаштовувані виділені сервери, які стануть ідеальною основою для вашого кластера Kubernetes. З нами ви отримуєте не тільки потужне "залізо", але і передбачувані витрати, а також впевненість в якості і надійності мережевої інфраструктури.

Вибираючи Kubernetes на виділених серверах від Valebyte.com, ви робите ставку на масштабованість, продуктивність і повний контроль над вашою інфраструктурою, що є запорукою успішного розвитку ваших проектів в довгостроковій перспективі. Почніть будувати свою потужну і незалежну платформу Kubernetes вже сьогодні!