Швидкість інференсу LLM: Бенчмаркінг GPU-хмар для AI-навантажень

Критична важливість продуктивності інференсу LLM

Для інженерів машинного навчання та фахівців з даних оптимізація інференсу LLM має першорядне значення. Повільний інференс призводить до погіршення користувацького досвіду в інтерактивних застосунках, збільшення операційних витрат через тривалішу утилізацію GPU та обмежує масштабованість сервісів на базі ШІ. Незалежно від того, чи розгортаєте ви систему генерації з доповненою вибіркою (RAG), забезпечуєте роботу розмовного ШІ чи виконуєте пакетну обробку для аналізу даних, кожен токен в секунду (TPS) і кожна мілісекунда затримки мають значення.

Вибір правильної інфраструктури GPU — це не просто питання чистої потужності; це пошук оптимального балансу між продуктивністю, вартістю та доступністю. Цей аналіз покликаний надати вам дані, необхідні для прийняття обґрунтованих рішень для ваших конкретних робочих навантажень LLM.

Розуміння метрик інференсу LLM

Перш ніж заглиблюватися в цифри, давайте прояснимо ключові метрики:

• Токенів в секунду (TPS): Кількість вихідних токенів, які LLM може згенерувати за секунду. Чим вище, тим краще. Це основний показник пропускної здатності.
• Час до першого токена (TTFT): Затримка від моменту відправки запиту до моменту отримання першого токена відповіді. Критично важливо для інтерактивних застосунків.
• Загальна затримка: Час, витрачений на генерацію повної відповіді для даного промпта та довжини генерації.
• Пропускна здатність: Загальна кількість запитів або токенів, оброблених за період, особливо актуально для пакетної обробки.
• Вартість за токен: Грошові витрати, понесені для генерації одного токена. Чим нижче, тим краще для економічної ефективності.

Хоча в цьому бенчмарку ми приділяємо велику увагу TPS через її пряму кореляцію з пропускною здатністю та економічною ефективністю, ми визнаємо важливість TTFT для інтерактивних сценаріїв використання.

Наша методологія бенчмарка

Для забезпечення справедливого та репрезентативного порівняння ми розробили сувору методологію тестування:

Тестовані LLM

• Llama 2 70B: Велика, широко використовувана модель з відкритим вихідним кодом, що представляє собою значну обчислювальну задачу.
• Mixtral 8x7B (Instruct): Розріджена модель "суміші експертів", відома своїм балансом продуктивності та ефективності, часто перевершує Llama 2 70B при меншій кількості активних параметрів.

Вибір GPU

Ми зосередились на високопродуктивних GPU, які зазвичай використовуються для інференсу LLM:

• NVIDIA A100 80GB: Робоча конячка корпоративного ШІ, що пропонує значний обсяг пам'яті та обчислювальну потужність.
• NVIDIA H100 80GB: Флагманський GPU NVIDIA, розроблений для робочих навантажень ШІ наступного покоління, що обіцяє значний приріст продуктивності порівняно з A100.
• (Примітка: Хоча RTX 4090 популярна для локальної розробки та невеликих моделей, її обмеження по пам'яті роблять її менш придатною для прямого бенчмаркінгу моделей з 70B+ параметрами без великої квантизації або вивантаження, тому її роль ми розглянемо окремо.)

Фреймворк інференсу та програмний стек

Ми використовували vLLM (версія 0.3.0), високопродуктивний та низьколатентний движок інференсу з відкритим вихідним кодом, з його алгоритмом PagedAttention. Це гарантує, що відмінності в продуктивності в основному обумовлені базовим обладнанням та хмарною інфраструктурою, а не неоптимальним програмним забезпеченням. Середовище включало PyTorch 2.1, CUDA 12.1 та стандартні бібліотеки Hugging Face Transformers.

Сценарії тестування

Кожна модель тестувалася у двох критичних сценаріях:

• Розмір пакета 1 (інтерактивний): Імітує запит одного користувача, що критично важливо для розуміння часу до першого токена (TTFT) та пропускної здатності одного потоку.
• Розмір пакета 8 (оптимізований за пропускною здатністю): Імітує кілька одночасних запитів, актуально для обслуговування API та пакетної обробки, де бажана вища пропускна здатність.

Для всіх тестів ми використовували постійну довжину промпта в 256 токенів і прагнули до довжини генерації в 256 токенів. Кожен тест проводився 5 разів, і середній TPS записувався після початкового періоду прогріву.

Тестовані провайдери

Ми вибрали ряд популярних хмарних провайдерів GPU, відомих тим, що пропонують високопродуктивні GPU NVIDIA:

• RunPod: Відомий конкурентоспроможними цінами та зручним інтерфейсом.
• Vast.ai: Децентралізований ринок GPU, який часто пропонує найнижчі ціни.
• Lambda Labs: Спеціалізується на інфраструктурі ШІ з акцентом на продуктивність.
• Vultr: Хмарний провайдер загального призначення, який розширює свої пропозиції GPU.

Результати продуктивності: розкриття токенів в секунду (TPS)

Нижче наведено агреговані показники продуктивності. Важливо відзначити, що фактична продуктивність може незначно варіюватися в залежності від доступності екземпляра, мережевих умов та конкретних конфігурацій програмного забезпечення під час тестування. Ціни є приблизними та можуть змінюватися.

Інференс Llama 2 70B

Ця модель інтенсивно використовує пам'ять, вимагаючи не менше 70-80 ГБ VRAM для повної точності, що робить A100 80GB та H100 80GB ідеальними кандидатами.

A100 80GB - Продуктивність та вартість Llama 2 70B

Спостереження: Для Llama 2 70B на A100 80GB Lambda Labs в цілому показала трохи вищий сирий TPS, ймовірно, через оптимізовану базову інфраструктуру. Однак Vast.ai постійно пропонувала кращий TPS за долар завдяки своїм висококонкурентним погодинним ставкам, особливо для великих розмірів пакетів.

H100 80GB - Продуктивність та вартість Llama 2 70B

Спостереження: H100 80GB забезпечує значний стрибок продуктивності порівняно з A100, часто в 1,5-1,7 рази швидше для Llama 2 70B. Знову ж таки, Lambda Labs трохи випередила за сирим TPS, в той час як Vast.ai зберегла сильне лідерство в економічній ефективності. Вища вартість H100 означає, що, хоча сира продуктивність краща, TPS за долар іноді може бути порівнянним або трохи нижчим, ніж у A100 за хорошою ціною, в залежності від провайдера.

Інференс Mixtral 8x7B

Mixtral 8x7B, з її розрідженою архітектурою, може бути дуже ефективною, особливо коли рушії інференсу, такі як vLLM, оптимізовані для використання її структури. Вона зазвичай потребує менше пам'яті, ніж щільна модель 70B, але все ж значно виграє від високошвидкісної пам'яті та швидких обчислень.

A100 80GB - Продуктивність і вартість Mixtral 8x7B

Спостереження: Mixtral 8x7B демонструє чудову ефективність на A100, часто досягаючи вищого TPS, ніж Llama 2 70B, незважаючи на те, що є великою моделлю. Це підкреслює переваги її архітектури "суміші експертів". Vast.ai продовжує лідирувати в економічній ефективності.

H100 80GB - Продуктивність і вартість Mixtral 8x7B

Спостереження: H100 по-справжньому сяє з Mixtral 8x7B, значно збільшуючи показники TPS порівняно з A100. Ця комбінація пропонує найвищу продуктивність для вимогливих додатків. Vast.ai зберігає свою перевагу в економічній ефективності, пропонуючи найбільший TPS за долар навіть з преміальним H100.

Низькозатратна альтернатива: NVIDIA RTX 4090

Хоча NVIDIA RTX 4090 (24 ГБ VRAM) не підходить для прямого порівняння з моделями 70B+ без сильної квантизації або вивантаження, вона заслуговує на згадку. Для невеликих моделей (наприклад, Llama 2 7B, Mistral 7B або сильно квантизованих версій більших моделей) вона пропонує неймовірну цінність. Провайдери, такі як RunPod і Vast.ai, часто пропонують екземпляри RTX 4090 за ціною від 0,20 до 0,35 доларів на годину. Це робить її чудовим вибором для:

• Локальної розробки та експериментів.
• Тонкого налаштування невеликих моделей.
• Обслуговування невеликих, спеціалізованих LLM, де 24 ГБ VRAM достатньо.

Її сира продуктивність за долар для моделей, які поміщаються в її пам'ять, часто не має собі рівних серед GPU корпоративного класу.

Аналіз цінності: продуктивність за долар

Крім сирого TPS, справжня цінність полягає в продуктивності, яку ви отримуєте за свої інвестиції. Саме тут метрика "TPS за долар" стає вирішальною. Наш аналіз постійно показує компроміс:

• Децентралізовані торгові майданчики (наприклад, Vast.ai): Часто пропонують найвищий TPS за долар завдяки своїм конкурентним, динамічним моделям ціноутворення. Це ідеально підходить для проектів, чутливих до витрат, або проектів з гнучкими вимогами до ресурсів.
• Спеціалізовані провайдери (наприклад, Lambda Labs): Схильні забезпечувати трохи вищу сиру продуктивність, що вказує на потенційно більш оптимізоване обладнання або мережу, але за трохи вищою ціною. Це може бути цінним для додатків, критичних до затримок, де кожна мілісекунда має значення, а бюджет менш обмежений.
• Керовані хмарні провайдери (наприклад, RunPod, Vultr): Знаходять баланс, пропонуючи хорошу продуктивність і конкурентоспроможні ціни з більш оптимізованим користувацьким досвідом і часто кращою підтримкою порівняно з повністю децентралізованими варіантами.

Вибір між A100 і H100 також впливає на цінність. Хоча H100 пропонує чудову сиру продуктивність, її вища погодинна ставка означає, що для деяких робочих навантажень добре оцінений A100 може запропонувати більш привабливий TPS за долар, особливо якщо робоче навантаження не повністю насичує можливості H100.

Реальні наслідки для ML-інженерів і фахівців з даних

Інтерактивні програми (чат-боти, RAG-системи)

Для додатків, де користувачі очікують майже миттєвих відповідей, час до першого токена (TTFT) і низька загальна затримка мають першорядне значення. H100, з її значно швидшою обробкою, забезпечує більш плавний користувацький досвід, навіть при розмірі пакета 1. Однак, якщо бюджет є основним обмеженням, добре оптимізований екземпляр A100 від економічно ефективного провайдера все ще може забезпечити прийнятну інтерактивну продуктивність, особливо в поєднанні з ефективними рушіями інференсу, такими як vLLM.

Пакетна обробка та асинхронні робочі навантаження

Задачі, такі як підсумовування великих документів, генерація синтетичних даних або обробка великих черг промтів, найбільше виграють від високої пропускної здатності (високий TPS при великому розмірі пакета). Тут здатність H100 більш ефективно обробляти великі пакети робить її явним переможцем у прискоренні часу виконання задач. Провайдери з достатньою доступністю H100 за конкурентоспроможними цінами (такі як Vast.ai або RunPod) ідеально підходять для цих сценаріїв використання.

Обслуговування моделей і кінцеві точки API

Розгортання LLM як сервісу вимагає балансування затримки для окремих запитів із загальною пропускною здатністю системи та масштабованістю. Вибір GPU та провайдера безпосередньо впливає на продуктивність вашого API та ваші операційні витрати. Часто корисно тестувати з вашими конкретними патернами трафіку. Для сплесків трафіку ключовими є провайдери з легким масштабуванням та екземплярами на вимогу. Для стабільного, високого трафіку довгострокові резервації або виділені екземпляри можуть бути більш економічно ефективними.

Вплив вибору GPU (A100 проти H100)

• A100 80GB: Залишається відмінним, економічно ефективним вибором для багатьох великих LLM. Її 80 ГБ VRAM достатньо для більшості моделей 70B в FP16/BF16. Вона пропонує відмінний баланс продуктивності та ціни для інференсу LLM загального призначення.
• H100 80GB: Прем'єрний вибір для передової продуктивності, особливо для більших моделей, великих розмірів пакетів і майбутніх LLM, які можуть вимагати ще більших обчислень. Якщо ваша програма дуже чутлива до затримок або вимагає максимальної пропускної здатності, H100 виправдовує свою вищу вартість.

Вибір провайдера, окрім чистої швидкості

Хоча продуктивність і вартість є основними рушійними факторами, на вибір провайдера впливають і інші фактори:

• Доступність: Чи можете ви надійно отримати потрібні GPU, коли вони вам потрібні? H100 іноді можуть бути дефіцитними.
• Екосистема та інструменти: Чи пропонує провайдер інтегровані інструменти MLOps, реєстри контейнерів або прості конвеєри розгортання?
• Підтримка: Який рівень технічної підтримки доступний і як швидко вони відповідають?
• Продуктивність мережі: Низьколатентна, високошвидкісна мережа критично важлива для багатопроцесорних установок або програм, які інтенсивно використовують дані.
• Вартість передачі даних: Плата за вхідний/вихідний трафік може накопичуватися, особливо для великих наборів даних.

Ключові висновки та рекомендації

Наш всебічний бенчмарк виявляє чіткі тенденції в продуктивності інференсу LLM серед провідних хмарних провайдерів GPU:

• H100 — король за сирою продуктивністю: Для максимальної кількості токенів за секунду та мінімальної затримки NVIDIA H100 80GB постійно перевершує A100 80GB, часто в 1,5-1,7 раза для великих моделей, таких як Llama 2 70B та Mixtral 8x7B.
• Vast.ai лідирує в економічній ефективності: Як для A100, так і для H100, децентралізована модель ринку Vast.ai часто забезпечує кращий "TPS за долар", що робить її дуже привабливою для проєктів з обмеженим бюджетом або з коливальним попитом.
• Lambda Labs пропонує найвищу сиру швидкість: Хоча трохи дорожче, Lambda Labs часто демонструвала найвищі показники сирого TPS, що вказує на високооптимізований стек, потенційно корисний для програм, надзвичайно чутливих до затримок.
• RunPod та Vultr пропонують збалансовані варіанти: Ці провайдери пропонують хороше поєднання продуктивності, конкурентоспроможних цін і більш традиційного хмарного досвіду, що робить їх надійним вибором для загального використання.
• Mixtral 8x7B виключно ефективна: Її архітектура "суміші експертів" призводить до значно вищого TPS порівняно зі щільними моделями з аналогічною кількістю параметрів, що робить її привабливим вибором для багатьох програм.
• Розмір пакета має значення: Оптимізація розміру пакета для вашого робочого навантаження має вирішальне значення. Великі розміри пакетів значно збільшують пропускну здатність, але можуть впливати на затримку окремих запитів.