Как развернуть Kubernetes кластер на выделенных серверах

Развернуть Kubernetes кластер на выделенных серверах включает в себя тщательную подготовку операционной системы, установку компонентов контейнеризации и инициализацию кластера с помощью утилиты kubeadm на минимум трех нодах, что обеспечивает полный контроль над инфраструктурой и значительную экономию по сравнению с облачными решениями.

В условиях постоянно растущих требований к масштабируемости, надежности и производительности приложений, Kubernetes стал де-факто стандартом для оркестрации контейнеров. Хотя облачные провайдеры предлагают управляемые сервисы K8s, развертывание kubernetes on dedicated servers, или так называемый kubernetes bare metal, открывает двери к беспрецедентной производительности, экономии и полному контролю над инфраструктурой. Эта статья поможет вам понять, как настроить эффективный k8s dedicated server кластер и почему это может быть оптимальным выбором для вашего бизнеса.

Почему стоит выбрать K8s на выделенных серверах (Bare Metal Kubernetes)?

Выбор kubernetes bare metal для вашего кластера K8s предоставляет ряд существенных преимуществ, которые часто перевешивают удобство облачных решений, особенно для средних и крупных проектов:

• Экономическая эффективность: При значительных объемах ресурсов выделенные серверы становятся значительно дешевле облачных. Отсутствие почасовой оплаты за виртуализацию, сетевой трафик и I/O операции позволяет сократить операционные расходы в долгосрочной перспективе. Вы платите фиксированную сумму за оборудование, получая при этом максимальную отдачу.
• Максимальная производительность: Развертывание Kubernetes непосредственно на физическом оборудовании исключает накладные расходы на виртуализацию. Это означает, что ваши приложения получают полный доступ ко всем ресурсам CPU, RAM и I/O диска, обеспечивая минимальные задержки и максимальную пропускную способность. Это критически важно для высоконагруженных сервисов, баз данных и вычислений.
• Полный контроль и кастомизация: Владея физическим сервером, вы получаете полный контроль над операционной системой, сетевыми настройками, драйверами и аппаратным обеспечением. Это позволяет точно настроить среду под специфические требования ваших приложений, использовать специализированное оборудование (например, FPGA, GPU) и внедрять любые необходимые патчи или модификации.
• Предсказуемость ресурсов: В отличие от облачных сред, где ресурсы могут быть "бурстыми" или делиться с другими клиентами (noisy neighbor effect), на выделенном сервере вы всегда знаете, какой объем ресурсов доступен вашим приложениям. Это обеспечивает стабильную и предсказуемую производительность.
• Безопасность: Физическая изоляция от других клиентов провайдера снижает риски, связанные с общими уязвимостями облачной инфраструктуры. Вы контролируете весь стек от железа до приложений, что упрощает соблюдение строгих требований безопасности и регуляций.

Какие серверы нужны для Kubernetes кластера на выделенных серверах?

Для создания стабильного и производительного kubernetes cluster setup на выделенных серверах необходимо тщательно подойти к выбору аппаратного обеспечения. Минимальные требования могут быть невысоки, но для продуктивной среды и обеспечения высокой доступности (HA) стоит ориентироваться на более мощные конфигурации.

Минимальные требования для каждой ноды (control plane и worker):

• Процессор (CPU): Минимум 2 ядра. Для контрольных нод с высокой нагрузкой или для рабочих нод, выполняющих ресурсоемкие задачи, рекомендуется 4+ ядер.
• Оперативная память (RAM): Минимум 2 ГБ для каждой ноды. Для продуктивных рабочих нод и контрольных нод рекомендуется 4-8 ГБ RAM и более, в зависимости от количества и требований ваших подов.
• Дисковая подсистема: Минимум 20 ГБ свободного места. Для ОС и основных компонентов K8s. Рекомендуется использовать SSD или NVMe диски для всех нод, особенно для control plane, где хранится etcd. NVMe обеспечивают значительно более высокую скорость I/O, что критично для производительности etcd и приложений.
• Сеть: Каждая нода должна иметь стабильное сетевое подключение. Рекомендуется 1 Гбит/с Ethernet, а для высоконагруженных кластеров — 10 Гбит/с. Все ноды должны быть в одной плоской сети или настроены для взаимодействия через VPN/туннелирование.

Рекомендации для продуктивной среды:

• Control Plane Nodes (Мастер-ноды): Рекомендуется не менее 3-х нод для обеспечения высокой доступности etcd (распределенная база данных K8s) и компонентов управления. Каждая такая нода должна иметь не менее 4 vCPU, 8-16 ГБ RAM и быстрые NVMe SSD диски (100-200 ГБ).
• Worker Nodes (Рабочие ноды): Количество и конфигурация этих нод зависят от ваших рабочих нагрузок. Для начала можно использовать 2-3 ноды с 4-8 vCPU, 16-32 ГБ RAM и NVMe SSD дисками (200-500 ГБ). По мере роста потребностей, вы сможете добавлять новые рабочие ноды.
• Сетевое оборудование: Для оптимальной производительности и минимизации задержек между нодами, особенно в больших кластерах, рассмотрите использование сетевых карт с поддержкой 10 Гбит/с или даже 25/40 Гбит/с.

Почему для K8s кластера необходим минимум 3 ноды?

Для обеспечения высокой доступности и отказоустойчивости kubernetes cluster setup, особенно его управляющего уровня (control plane), критически важно использовать минимум три ноды. Это требование связано с работой распределенной базы данных etcd, которая хранит все состояние кластера.

• Кворум etcd: etcd использует алгоритм Raft для обеспечения консистентности данных. Для принятия решения (например, о новом состоянии пода) требуется кворум — большинство голосов от общего числа участников кластера.
  • В кластере из 1 ноды: Если нода падает, кворум теряется, и кластер становится неработоспособным.
  • В кластере из 2 нод: При падении одной ноды остается только одна, что составляет 50% от общего числа. Кворум (большинство, т.е. 2 из 2) не достигается, и кластер снова теряет работоспособность. Это сценарий "split-brain", когда две ноды не могут договориться, кто является лидером.
  • В кластере из 3 нод: Если одна нода падает, остаются две ноды (2 из 3), что составляет большинство и позволяет etcd сохранить кворум и продолжать функционировать. Кластер остается работоспособным.
• Отказоустойчивость: С тремя нодами control plane, кластер может пережить отказ одной из них без потери функциональности. Это обеспечивает непрерывность работы ваших приложений.
• Надежность: Большее количество мастер-нод повышает общую надежность системы, снижая вероятность полного отказа из-за аппаратных сбоев или проблем с программным обеспечением на одной из нод.

Хотя теоретически можно запустить K8s на одной или двух нодах (например, для разработки), для любой продуктивной среды kubernetes на серверах с выделенными ресурсами настоятельно рекомендуется использовать минимум три ноды для control plane.

Подготовка выделенных серверов к установке Kubernetes

Прежде чем приступать к kubernetes cluster setup с помощью kubeadm, необходимо выполнить ряд подготовительных шагов на каждой из ваших выделенных нод (как control plane, так и worker). Мы будем использовать Ubuntu Server как пример операционной системы.

1. Обновление системы и установка зависимостей

sudo apt update
sudo apt upgrade -y
sudo apt install -y apt-transport-https ca-certificates curl gnupg lsb-release

2. Отключение Swap

Kubernetes требует отключения Swap для корректной работы kubelet.

sudo swapoff -a
sudo sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

3. Настройка параметров ядра (sysctl)

Необходимо включить перенаправление IPv4-трафика и разрешить мостовому интерфейсу видеть входящий трафик.

cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF

cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

sudo sysctl --system

4. Установка контейнерного рантайма (Containerd)

Kubernetes использует Container Runtime Interface (CRI) для взаимодействия с контейнерными рантаймами. Containerd — рекомендуемый выбор.

# Добавление репозитория Docker GPG ключа
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

# Добавление репозитория Docker
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu \
  $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

sudo apt update
sudo apt install -y containerd.io

# Конфигурация containerd
sudo mkdir -p /etc/containerd
sudo containerd config default | sudo tee /etc/containerd/config.toml

# Замена системного cgroup driver на systemd
sudo sed -i 's/SystemdCgroup = false/SystemdCgroup = true/g' /etc/containerd/config.toml

sudo systemctl restart containerd
sudo systemctl enable containerd

5. Установка kubeadm, kubelet и kubectl

Эти инструменты необходимы для развертывания и управления kubernetes на серверах.

# Добавление GPG ключа Kubernetes
sudo curl -fsSLo /usr/share/keyrings/kubernetes-archive-keyring.gpg https://packages.cloud.google.com/apt/doc/apt-key.gpg

# Добавление репозитория Kubernetes
echo "deb [signed-by=/usr/share/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list

sudo apt update
sudo apt install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl

6. Настройка Firewall (UFW)

Необходимо открыть порты для компонентов Kubernetes. На каждой ноде:

sudo ufw disable # Или настройте правила UFW
# Для control plane нод:
# 6443/tcp (Kubernetes API server)
# 2379-2380/tcp (etcd server client API)
# 10250/tcp (Kubelet API)
# 10259/tcp (kube-scheduler)
# 10257/tcp (kube-controller-manager)

# Для worker нод:
# 10250/tcp (Kubelet API)
# 30000-32767/tcp (NodePort Services - диапазон по умолчанию)

Важно: Убедитесь, что все ноды могут обмениваться трафиком по этим портам.

Развертывание Kubernetes кластера с помощью kubeadm: пошаговое руководство

После подготовки всех выделенных серверов, можно приступать к инициализации kubernetes cluster setup с помощью kubeadm.

На Control Plane ноде (первая мастер-нода):

1. Инициализация кластера

Выполните эту команду на одной из выбранных вами мастер-нод. Замените <IP_АДРЕС_МАСТЕР_НОДЫ> на реальный IP-адрес вашей мастер-ноды. --pod-network-cidr указывает диапазон IP-адресов для подов, который будет использоваться плагином сетевой фабрики (CNI), например, Calico.

sudo kubeadm init --apiserver-advertise-address=<IP_АДРЕС_МАСТЕР_НОДЫ> --pod-network-cidr=192.168.0.0/16

После выполнения команды вы увидите вывод, содержащий команды для настройки kubectl и команду для присоединения worker-нод. Сохраните эти команды.

2. Настройка kubectl для текущего пользователя

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

3. Установка сетевой фабрики (CNI)

Для корректной работы сети между подами необходимо установить CNI-плагин. Мы рекомендуем Calico из-за его надежности и гибкости.

kubectl apply -f https://raw.githubusercontent.com/projectcalico/calico/v3.25.0/manifests/calico.yaml

Дождитесь, пока все поды в пространстве имен kube-system перейдут в состояние Running.

kubectl get pods --all-namespaces

На Worker нодах:

1. Присоединение к кластеру

На каждой worker-ноде выполните команду, которую вы получили после инициализации кластера на control plane ноде. Она будет выглядеть примерно так:

sudo kubeadm join <IP_АДРЕС_МАСТЕР_НОДЫ>:6443 --token <TOKEN> \
    --discovery-token-ca-cert-hash sha256:<HASH>

Если вы потеряли токен или хэш, их можно получить на control plane ноде:

# Получить токен
sudo kubeadm token create --print-join-command

# Получить хэш
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 | cut -d' ' -f2

Проверка кластера

Вернитесь на control plane ноду и проверьте статус всех нод:

kubectl get nodes

Все ноды должны быть в статусе Ready.

Оптимальные конфигурации выделенных серверов Valebyte для K8s

Valebyte предлагает широкий выбор выделенных серверов, идеально подходящих для развертывания kubernetes cluster setup на kubernetes bare metal. Ниже представлены несколько рекомендуемых конфигураций, которые обеспечат высокую производительность и надежность для ваших K8s кластеров, от стартовых до корпоративных решений.

*Цены указаны ориентировочно и могут меняться. Актуальную информацию смотрите на сайте Valebyte.com.

При выборе конфигурации для вашего k8s dedicated server кластера, мы рекомендуем:
Для control plane нод: ориентироваться на конфигурации "K8s Start" или "K8s Pro" с быстрыми NVMe дисками.
Для worker нод: выбирать "K8s Pro", "K8s Enterprise" или "K8s Scale" в зависимости от требований к CPU, RAM и дисковой подсистеме ваших приложений.

Рекомендации по эксплуатации Kubernetes на выделенных серверах

Успешное развертывание kubernetes on dedicated servers — это только начало. Для обеспечения стабильной, безопасной и эффективной работы кластера необходимо следовать ряду рекомендаций:

1. Мониторинг ресурсов: Внедрите комплексную систему мониторинга (например, Prometheus + Grafana) для отслеживания состояния нод, подов, использования CPU, RAM, диска и сетевого трафика. Это позволит своевременно выявлять проблемы и оптимизировать использование ресурсов.
2. Централизованное логирование: Настройте централизованную систему сбора логов (например, ELK Stack или Loki + Grafana) для всех подов и системных компонентов. Это упростит отладку и анализ поведения приложений.
3. Стратегия резервного копирования: Регулярно создавайте резервные копии состояния etcd (используя etcdctl snapshot save) и конфигурационных файлов кластера. Для персистентных данных используйте Volume Snapshots, если ваш CSI-драйвер их поддерживает.
4. Обновление и обслуживание: Разработайте стратегию для регулярного обновления Kubernetes, операционной системы и контейнерного рантайма. Используйте инструменты вроде Kured для автоматической перезагрузки нод после обновлений ядра.
5. Безопасность кластера:
   • Используйте RBAC (Role-Based Access Control) для ограничения доступа к API Kubernetes.
   • Внедрите сетевые политики (Network Policies) для контроля трафика между подами.
   • Регулярно сканируйте образы контейнеров на предмет уязвимостей.
   • Ограничьте доступ к control plane нодам только из доверенных IP-адресов.
6. Решения для постоянного хранения данных (Persistent Storage): Поскольку выделенные серверы предоставляют локальное хранилище, для обеспечения постоянства данных между подами и их миграции рассмотрите использование решений вроде Ceph (с Rook) или Longhorn. Они позволяют создать распределенное хранилище поверх локальных дисков ваших нод.
7. Автоматизация развертывания: Используйте Ansible, Terraform или другие инструменты IaC (Infrastructure as Code) для автоматизации развертывания и настройки нод. Это обеспечит повторяемость и снизит вероятность ошибок.
8. Оптимизация сетевого взаимодействия: Если ваш кластер имеет высокую сетевую нагрузку, рассмотрите использование сетевых карт 10 Гбит/с и оптимизированных CNI-плагинов.

Выводы

Развертывание kubernetes on dedicated servers предоставляет мощную, гибкую и экономически выгодную альтернативу облачным решениям для оркестрации контейнеров. Путем тщательной подготовки инфраструктуры, использования утилиты kubeadm и соблюдения рекомендаций по эксплуатации, вы можете создать высокопроизводительный и отказоустойчивый k8s dedicated server кластер, полностью адаптированный под ваши нужды. Valebyte предоставляет идеальные выделенные серверы для построения такой инфраструктуры, обеспечивая надежную основу для ваших амбициозных проектов.