Скорость инференса LLM: Бенчмаркинг GPU-облаков для AI-нагрузок

Критическая важность производительности инференса LLM

Для инженеров машинного обучения и специалистов по данным оптимизация инференса LLM имеет первостепенное значение. Медленный инференс приводит к ухудшению пользовательского опыта в интерактивных приложениях, увеличению операционных расходов из-за более длительной утилизации GPU и ограничивает масштабируемость сервисов на базе ИИ. Независимо от того, развертываете ли вы систему генерации с дополненной выборкой (RAG), обеспечиваете работу разговорного ИИ или выполняете пакетную обработку для анализа данных, каждый токен в секунду (TPS) и каждая миллисекунда задержки имеют значение.

Выбор правильной инфраструктуры GPU — это не просто вопрос чистой мощности; это поиск оптимального баланса между производительностью, стоимостью и доступностью. Этот анализ призван предоставить вам данные, необходимые для принятия обоснованных решений для ваших конкретных рабочих нагрузок LLM.

Понимание метрик инференса LLM

Прежде чем углубляться в цифры, давайте проясним ключевые метрики:

• Токенов в секунду (TPS): Количество выходных токенов, которые LLM может сгенерировать в секунду. Чем выше, тем лучше. Это основной показатель пропускной способности.
• Время до первого токена (TTFT): Задержка от момента отправки запроса до момента получения первого токена ответа. Критически важно для интерактивных приложений.
• Общая задержка: Время, затраченное на генерацию полного ответа для данного промпта и длины генерации.
• Пропускная способность: Общее количество запросов или токенов, обработанных за период, особенно актуально для пакетной обработки.
• Стоимость за токен: Денежные затраты, понесенные для генерации одного токена. Чем ниже, тем лучше для экономической эффективности.

Хотя в этом бенчмарке мы уделяем большое внимание TPS из-за его прямой корреляции с пропускной способностью и экономической эффективностью, мы признаем важность TTFT для интерактивных сценариев использования.

Наша методология бенчмарка

Для обеспечения справедливого и репрезентативного сравнения мы разработали строгую методологию тестирования:

Тестируемые LLM

• Llama 2 70B: Большая, широко используемая модель с открытым исходным кодом, представляющая собой значительную вычислительную задачу.
• Mixtral 8x7B (Instruct): Разреженная модель "смеси экспертов", известная своим балансом производительности и эффективности, часто превосходящая Llama 2 70B при меньшем количестве активных параметров.

Выбор GPU

Мы сосредоточились на высокопроизводительных GPU, обычно используемых для инференса LLM:

• NVIDIA A100 80GB: Рабочая лошадка корпоративного ИИ, предлагающая значительный объем памяти и вычислительную мощность.
• NVIDIA H100 80GB: Флагманский GPU NVIDIA, разработанный для рабочих нагрузок ИИ следующего поколения, обещающий значительный прирост производительности по сравнению с A100.
• (Примечание: Хотя RTX 4090 популярна для локальной разработки и небольших моделей, ее ограничения по памяти делают ее менее подходящей для прямого бенчмаркинга моделей с 70B+ параметрами без обширной квантизации или выгрузки, поэтому ее роль мы рассмотрим отдельно.)

Фреймворк инференса и программный стек

Мы использовали vLLM (версия 0.3.0), высокопроизводительный и низколатентный движок инференса с открытым исходным кодом, с его алгоритмом PagedAttention. Это гарантирует, что различия в производительности в основном обусловлены базовым оборудованием и облачной инфраструктурой, а не неоптимальным программным обеспечением. Среда включала PyTorch 2.1, CUDA 12.1 и стандартные библиотеки Hugging Face Transformers.

Сценарии тестирования

Каждая модель тестировалась в двух критических сценариях:

• Размер пакета 1 (интерактивный): Имитирует запрос одного пользователя, что критически важно для понимания времени до первого токена (TTFT) и пропускной способности одного потока.
• Размер пакета 8 (оптимизированный по пропускной способности): Имитирует несколько одновременных запросов, актуально для обслуживания API и пакетной обработки, где желательна более высокая пропускная способность.

Для всех тестов мы использовали постоянную длину промпта в 256 токенов и стремились к длине генерации в 256 токенов. Каждый тест проводился 5 раз, и средний TPS записывался после начального периода прогрева.

Тестируемые провайдеры

Мы выбрали ряд популярных облачных провайдеров GPU, известных тем, что предлагают высокопроизводительные GPU NVIDIA:

• RunPod: Известен конкурентоспособными ценами и удобным интерфейсом.
• Vast.ai: Децентрализованный рынок GPU, часто предлагающий самые низкие цены.
• Lambda Labs: Специализируется на инфраструктуре ИИ с акцентом на производительность.
• Vultr: Облачный провайдер общего назначения, расширяющий свои предложения GPU.

Результаты производительности: раскрытие токенов в секунду (TPS)

Ниже приведены агрегированные показатели производительности. Важно отметить, что фактическая производительность может незначительно варьироваться в зависимости от доступности экземпляра, сетевых условий и конкретных конфигураций программного обеспечения во время тестирования. Цены являются приблизительными и могут меняться.

Инференс Llama 2 70B

Эта модель интенсивно использует память, требуя не менее 70-80 ГБ VRAM для полной точности, что делает A100 80GB и H100 80GB идеальными кандидатами.

A100 80GB - Производительность и стоимость Llama 2 70B

Наблюдения: Для Llama 2 70B на A100 80GB Lambda Labs в целом показала немного более высокий сырой TPS, вероятно, из-за оптимизированной базовой инфраструктуры. Однако Vast.ai постоянно предлагала лучший TPS за доллар благодаря своим высококонкурентным почасовым ставкам, особенно для больших размеров пакетов.

H100 80GB - Производительность и стоимость Llama 2 70B

Наблюдения: H100 80GB обеспечивает значительный скачок производительности по сравнению с A100, часто в 1,5-1,7 раза быстрее для Llama 2 70B. Опять же, Lambda Labs немного опередила по сырому TPS, в то время как Vast.ai сохранила сильное лидерство в экономической эффективности. Более высокая стоимость H100 означает, что, хотя сырая производительность лучше, TPS за доллар иногда может быть сопоставим или немного ниже, чем у A100 по хорошей цене, в зависимости от провайдера.

Инференс Mixtral 8x7B

Mixtral 8x7B, с ее разреженной архитектурой, может быть очень эффективной, особенно когда движки инференса, такие как vLLM, оптимизированы для использования ее структуры. Она обычно требует меньше памяти, чем плотная модель 70B, но все же значительно выигрывает от высокоскоростной памяти и быстрых вычислений.

A100 80GB - Производительность и стоимость Mixtral 8x7B

Наблюдения: Mixtral 8x7B демонстрирует замечательную эффективность на A100, часто достигая более высокого TPS, чем Llama 2 70B, несмотря на то, что является большой моделью. Это подчеркивает преимущества ее архитектуры "смеси экспертов". Vast.ai продолжает лидировать в экономической эффективности.

H100 80GB - Производительность и стоимость Mixtral 8x7B

Наблюдения: H100 по-настоящему сияет с Mixtral 8x7B, значительно увеличивая показатели TPS по сравнению с A100. Эта комбинация предлагает высочайшую производительность для требовательных приложений. Vast.ai сохраняет свое преимущество в экономической эффективности, предлагая наибольший TPS за доллар даже с премиальным H100.

Низкозатратная альтернатива: NVIDIA RTX 4090

Хотя NVIDIA RTX 4090 (24 ГБ VRAM) не подходит для прямого сравнения с моделями 70B+ без сильной квантизации или выгрузки, она заслуживает упоминания. Для небольших моделей (например, Llama 2 7B, Mistral 7B или сильно квантизованных версий более крупных моделей) она предлагает невероятную ценность. Провайдеры, такие как RunPod и Vast.ai, часто предлагают экземпляры RTX 4090 по цене от $0.20 до $0.35 в час. Это делает ее отличным выбором для:

• Локальной разработки и экспериментов.
• Тонкой настройки небольших моделей.
• Обслуживания небольших, специализированных LLM, где 24 ГБ VRAM достаточно.

Ее сырая производительность за доллар для моделей, которые помещаются в ее память, часто не имеет себе равных среди GPU корпоративного класса.

Анализ ценности: производительность за доллар

Помимо сырого TPS, истинная ценность заключается в производительности, которую вы получаете за свои инвестиции. Именно здесь метрика "TPS за доллар" становится решающей. Наш анализ постоянно показывает компромисс:

• Децентрализованные торговые площадки (например, Vast.ai): Часто предлагают самый высокий TPS за доллар благодаря своим конкурентным, динамическим моделям ценообразования. Это идеально подходит для проектов, чувствительных к затратам, или проектов с гибкими требованиями к ресурсам.
• Специализированные провайдеры (например, Lambda Labs): Склонны обеспечивать немного более высокую сырую производительность, что указывает на потенциально более оптимизированное оборудование или сеть, но по немного более высокой цене. Это может быть ценно для приложений, критичных к задержкам, где каждая миллисекунда имеет значение, а бюджет менее ограничен.
• Управляемые облачные провайдеры (например, RunPod, Vultr): Находят баланс, предлагая хорошую производительность и конкурентоспособные цены с более оптимизированным пользовательским опытом и часто лучшей поддержкой по сравнению с полностью децентрализованными вариантами.

Выбор между A100 и H100 также влияет на ценность. Хотя H100 предлагает превосходную сырую производительность, ее более высокая почасовая ставка означает, что для некоторых рабочих нагрузок хорошо оцененный A100 может предложить более привлекательный TPS за доллар, особенно если рабочая нагрузка не полностью насыщает возможности H100.

Реальные последствия для ML-инженеров и специалистов по данным

Интерактивные приложения (чат-боты, RAG-системы)

Для приложений, где пользователи ожидают почти мгновенных ответов, время до первого токена (TTFT) и низкая общая задержка имеют первостепенное значение. H100, с ее значительно более быстрой обработкой, обеспечивает более плавный пользовательский опыт, даже при размере пакета 1. Однако, если бюджет является основным ограничением, хорошо оптимизированный экземпляр A100 от экономически эффективного провайдера все еще может обеспечить приемлемую интерактивную производительность, особенно в сочетании с эффективными движками инференса, такими как vLLM.

Пакетная обработка и асинхронные рабочие нагрузки

Задачи, такие как суммирование больших документов, генерация синтетических данных или обработка больших очередей промптов, больше всего выигрывают от высокой пропускной способности (высокий TPS при большом размере пакета). Здесь способность H100 более эффективно обрабатывать большие пакеты делает ее явным победителем в ускорении времени выполнения задач. Провайдеры с достаточной доступностью H100 по конкурентоспособным ценам (такие как Vast.ai или RunPod) идеально подходят для этих сценариев использования.

Обслуживание моделей и конечные точки API

Развертывание LLM как сервиса требует балансировки задержки для отдельных запросов с общей пропускной способностью системы и масштабируемостью. Выбор GPU и провайдера напрямую влияет на производительность вашего API и ваши операционные расходы. Часто полезно тестировать с вашими конкретными паттернами трафика. Для всплесков трафика ключевыми являются провайдеры с легким масштабированием и экземплярами по требованию. Для стабильного, высокообъемного трафика долгосрочные резервации или выделенные экземпляры могут быть более экономически эффективными.

Влияние выбора GPU (A100 против H100)

• A100 80GB: Остается отличным, экономически эффективным выбором для многих больших LLM. Ее 80 ГБ VRAM достаточно для большинства моделей 70B в FP16/BF16. Она предлагает отличный баланс производительности и цены для инференса LLM общего назначения.
• H100 80GB: Премьерный выбор для передовой производительности, особенно для более крупных моделей, больших размеров пакетов и будущих LLM, которые могут потребовать еще больших вычислений. Если ваше приложение очень чувствительно к задержкам или требует максимальной пропускной способности, H100 оправдывает свою более высокую стоимость.

Выбор провайдера помимо чистой скорости

Хотя производительность и стоимость являются основными движущими факторами, на выбор провайдера влияют и другие факторы:

• Доступность: Можете ли вы надежно получить нужные GPU, когда они вам нужны? H100 иногда могут быть дефицитными.
• Экосистема и инструменты: Предлагает ли провайдер интегрированные инструменты MLOps, реестры контейнеров или простые конвейеры развертывания?
• Поддержка: Какой уровень технической поддержки доступен и как быстро они отвечают?
• Производительность сети: Низколатентная, высокоскоростная сеть критически важна для многопроцессорных установок или приложений, интенсивно использующих данные.
• Стоимость передачи данных: Плата за входящий/исходящий трафик может накапливаться, особенно для больших наборов данных.

Ключевые выводы и рекомендации

Наш всесторонний бенчмарк выявляет четкие тенденции в производительности инференса LLM среди ведущих облачных провайдеров GPU:

• H100 — король по сырой производительности: Для максимального количества токенов в секунду и минимальной задержки NVIDIA H100 80GB постоянно превосходит A100 80GB, часто в 1,5-1,7 раза для больших моделей, таких как Llama 2 70B и Mixtral 8x7B.
• Vast.ai лидирует в экономической эффективности: Как для A100, так и для H100, децентрализованная модель рынка Vast.ai часто обеспечивает лучший "TPS за доллар", что делает ее очень привлекательной для проектов с ограниченным бюджетом или с колеблющимся спросом.
• Lambda Labs предлагает высочайшую сырую скорость: Хотя немного дороже, Lambda Labs часто демонстрировала самые высокие показатели сырого TPS, что указывает на высокооптимизированный стек, потенциально полезный для приложений, чрезвычайно чувствительных к задержкам.
• RunPod и Vultr предлагают сбалансированные варианты: Эти провайдеры предлагают хорошее сочетание производительности, конкурентоспособных цен и более традиционного облачного опыта, что делает их надежным выбором для общего использования.
• Mixtral 8x7B исключительно эффективна: Ее архитектура "смеси экспертов" приводит к значительно более высокому TPS по сравнению с плотными моделями с аналогичным количеством параметров, что делает ее привлекательным выбором для многих приложений.
• Размер пакета имеет значение: Оптимизация размера пакета для вашей рабочей нагрузки имеет решающее значение. Большие размеры пакетов значительно увеличивают пропускную способность, но могут влиять на задержку отдельных запросов.