Швидкість інференсу LLM: H100, A100 і RTX 4090 Хмарні бенчмарки

Розкриття продуктивності LLM: чому важлива швидкість інференсу

У світі штучного інтелекту, що швидко розвивається, здатність ефективно обслуговувати LLM є конкурентною перевагою. Швидкий інференс забезпечує чуйний користувацький досвід для чат-ботів, швидшу генерацію контенту та зниження операційних витрат для високонавантажених програм. Ключові метрики, такі як токени на секунду (TPS), затримка першого токена та загальна пропускна здатність, мають вирішальне значення для оцінки продуктивності, кожна з яких відіграє свою роль залежно від сценарію використання.

• Токени на секунду (TPS): Вимірює, скільки токенів (слів або підслів) модель може згенерувати або обробити за секунду. Вищий TPS зазвичай кращий для безперервної генерації.
• Затримка першого токена: Час, необхідний моделі для генерації найпершого токена. Критично важливо для інтерактивних програм, де користувачі очікують негайних відповідей.
• Пропускна здатність: Загальна кількість запитів або токенів, оброблених за певний період, часто актуальна для пакетної обробки або одночасного обслуговування кількох користувачів.

Вибір GPU, хмарного провайдера та методів оптимізації може кардинально змінити ці метрики, безпосередньо впливаючи на загальну вартість володіння (TCO) для ваших розгортань LLM.

Наша комплексна методологія бенчмаркінгу

Щоб забезпечити об'єктивне та відтворюване порівняння, ми розробили сувору методологію тестування. Нашою метою було максимально точно змоделювати реальні сценарії інференсу LLM, зосередившись на широко використовуваній та продуктивній моделі з відкритим кодом.

Модель LLM: Llama 3 8B Instruct (FP16)

Для цього бенчмарку ми обрали модель Meta Llama 3 8B Instruct. Ця модель забезпечує чудовий баланс між продуктивністю, розміром та корисністю для широкого спектру програм, що робить її популярним вибором для розробників. Ми спеціально використовували версію FP16 (напівточність з плаваючою комою), щоб максимізувати продуктивність, зберігаючи точність моделі. Хоча квантовані версії INT8 або GPTQ можуть запропонувати ще вищий TPS, FP16 служить надійною базою для оцінки чистих можливостей GPU.

Фреймворк інференсу: vLLM

Для забезпечення оптимальної швидкості інференсу ми використовували vLLM, високопродуктивний рушій інференсу LLM з низькою затримкою. vLLM відомий своїм алгоритмом PagedAttention, який значно покращує використання пам'яті та знижує накладні витрати на кеш ключ-значення (KV), що призводить до чудової продуктивності порівняно з традиційними методами інференсу. Усі тести проводилися в середовищі Docker, налаштованому для vLLM.

Тестові промти та довжини генерації

Ми розробили набір стандартизованих промтів для оцінки продуктивності при різних довжинах та складностях генерації. Кожен тестовий запуск включав розмір батчу 1 (сценарій для одного користувача) і температуру 0.8, щоб забезпечити деяку мінливість у генерації, імітуючи реальне використання. Ми зосередилися на генерації вихідних токенів, а не на обробці довгих вхідних контекстів.

• Коротка генерація (50 токенів): Промт: "Напишіть короткий, креативний слоган для персонального помічника на базі ШІ."
• Середня генерація (200 токенів): Промт: "Поясніть концепцію 'механізму уваги' в трансформерних моделях простими словами, придатними для нетехнічної аудиторії."
• Довга генерація (500 токенів): Промт: "Складіть детальний електронний лист команді, анонсуючи новий проект, сфокусований на інтеграції генеративного ШІ в наш робочий процес підтримки клієнтів. Включіть цілі, очікувані переваги та наступні кроки."

Кожен тест повторювався 10 разів для кожного екземпляра GPU, і середній TPS записувався для пом'якшення тимчасових коливань продуктивності.

Цільові GPU для бенчмаркінгу

Наш бенчмарк був сфокусований на трьох ключових архітектурах NVIDIA GPU, що представляють різні рівні продуктивності та вартості:

• NVIDIA H100 (80GB HBM3): Поточний флагман для робочих навантажень ШІ, що пропонує безпрецедентну обчислювальну потужність та пропускну здатність пам'яті.
• NVIDIA A100 (80GB HBM2): Потужний та широко доступний GPU, робоча конячка для багатьох корпоративних розгортань ШІ.
• NVIDIA RTX 4090 (24GB GDDR6X): Високопродуктивний споживчий GPU, включений для оцінки його придатності для дрібномасштабних або чутливих до вартості задач інференсу.

Протестовані хмарні провайдери

Ми обрали комбінацію спеціалізованих хмарних провайдерів GPU та хмарних платформ загального призначення, відомих своїми конкурентоспроможними цінами та пропозиціями GPU:

• RunPod: Відомий своїм зручним інтерфейсом та конкурентоспроможними цінами на широкий спектр GPU.
• Vast.ai: Децентралізований ринок GPU, що пропонує дуже конкурентоспроможні ціни на спотові екземпляри.
• Lambda Labs: Спеціалізується на інфраструктурі ШІ, надаючи bare-metal та хмарні рішення GPU.
• Vultr: Хмарний провайдер загального призначення, що розширює свої пропозиції GPU з конкурентоспроможними тарифами.
• CoreWeave: Спеціалізований хмарний провайдер, орієнтований на NVIDIA GPU, часто з відмінною доступністю.

Екземпляри були розгорнуті в регіонах, географічно близьких до нашого місця тестування, щоб мінімізувати ефекти мережевої затримки. Усі тести проводилися на екземплярах з одним GPU.

Аналіз продуктивності: Токени на секунду (TPS)

Наші тести виявили значні відмінності в продуктивності між GPU і, меншою мірою, між хмарними провайдерами для одного і того ж GPU. Наведені нижче цифри представляють середній TPS для генерації 200 токенів Llama 3 8B Instruct (FP16).

Продуктивність NVIDIA H100 (80GB)

H100 стабільно демонстрував найвищі показники токенів на секунду, демонструючи своє домінування в інференсі ШІ. Його архітектура Hopper, тензорні ядра четвертого покоління та пропускна здатність пам'яті HBM3 спеціально розроблені для вимогливих робочих навантажень LLM.

Ключове спостереження: H100 забезпечують приблизно в 1.8-2.2 рази більшу продуктивність, ніж A100, для цієї конкретної LLM та налаштування. Мінливість між провайдерами для одного і того ж GPU була мінімальною з точки зору чистого TPS, що вказує на стабільну базову продуктивність обладнання.

Продуктивність NVIDIA A100 (80GB)

A100 залишається грізним вибором, пропонуючи відмінну продуктивність за свою вартість. Це широко доступна та зріла платформа, що робить її надійним вибором для багатьох виробничих розгортань.

Ключове спостереження: A100 стабільно демонстрували високу продуктивність, що робить їх збалансованим вибором. Vast.ai часто пропонував найнижчі погодинні ставки, але доступність може бути фактором при використанні спотових екземплярів.

Продуктивність NVIDIA RTX 4090 (24GB)

Хоча RTX 4090 в першу чергу є споживчою ігровою картою, вона має значну потужність для своєї цінової категорії, особливо для моделей, які поміщаються в її 24 ГБ VRAM. Це відмінний варіант для прототипування, невеликих розгортань або коли бюджет є основним обмеженням.

Ключове спостереження: RTX 4090 забезпечує приблизно 35-40% продуктивності A100, але при значно нижчій вартості, що робить її дуже привабливою для конкретних сценаріїв використання. Її 24 ГБ VRAM достатньо для Llama 3 8B (FP16), але може бути недостатньо для більших моделей FP16.

Інференс з кількома GPU та пропускна здатність

Хоча наша основна увага була зосереджена на продуктивності одного GPU, варто зазначити, що для дуже високої пропускної здатності або надзвичайно великих моделей поширені конфігурації з кількома GPU. Провайдери, такі як RunPod і Lambda Labs, пропонують екземпляри з кількома H100 або A100, забезпечуючи майже лінійне масштабування TPS для пакетного інференсу або паралельної обробки. Однак інференс з кількома GPU вносить накладні витрати, і ефективність масштабування сильно залежить від фреймворку інференсу та стратегії паралелізму моделі.

Аналіз цінності: Продуктивність проти вартості

Чистий TPS - це лише частина головоломки; справжня міра цінності полягає в розумінні вартості одиниці роботи. Для інференсу LLM це часто перекладається в вартість за мільйон токенів.

Огляд погодинних цін (ілюстративний, може змінюватися)

Примітка: Ціни приблизні та можуть коливатися в залежності від регіону, попиту та типу екземпляра (на вимогу або спотовий). Ціни Vast.ai зазвичай є середніми по спотовому ринку.

Вартість за мільйон токенів (Llama 3 8B, в середньому 200 токенів)

Ця метрика критично важлива для бюджетування та оперативного планування. Ми розраховуємо її, ділячи погодинну вартість на середній TPS, потім множачи на кількість секунд в годині та коригуючи на мільйон токенів.

Висновки про цінність:

• RTX 4090: На диво, RTX 4090 часто пропонує найнижчу вартість за мільйон токенів, особливо на децентралізованих платформах, таких як Vast.ai. Це робить її неймовірно економічно ефективним варіантом для сценаріїв, коли модель поміщається в VRAM, і абсолютна пікова продуктивність не є єдиним рушійним фактором.
• A100: Забезпечує відмінний баланс. Хоча вона не така швидка, як H100, її широка доступність і трохи краща економічна ефективність на токен в деяких сценаріях роблять її сильним претендентом для виробничих робочих навантажень.
• H100: Забезпечує найвищий чистий TPS, що критично важливо для інтерактивних додатків з низькою затримкою або коли максимізація пропускної здатності з мінімальною кількістю екземплярів є ключовою. Її вартість за токен конкурентоспроможна з A100, особливо якщо враховувати величезний обсяг токенів, які вона може генерувати.

Міркування щодо затримки

У той час як TPS фокусується на стійкій генерації, затримка першого токена має вирішальне значення для користувацького досвіду. H100 зазвичай демонструє нижчу затримку першого токена завдяки своїм чудовим обчислювальним можливостям. Для інтерактивних чат-ботів або ІІ-агентів реального часу мінімізація цієї початкової затримки має першорядне значення, навіть якщо це означає трохи вищу вартість за токен.

Реальні наслідки для ML-інженерів та спеціалістів з даних

Ці бенчмарки мають відчутні наслідки для розгортання та управління LLM:

Інтерактивні чат-боти та ІІ-агенти реального часу

Для застосунків, що потребують негайних, розмовних відповідей, H100 є явним переможцем. Їх чудова затримка першого токена та високий TPS забезпечують плавний досвід користувача. Хоча вони дорожчі за годину, покращена чуйність може виправдати витрати на преміум-послуги або високовартісні взаємодії з клієнтами.

Пакетна обробка та офлайн-інференс

При обробці великих наборів даних в автономному режимі (наприклад, генерація резюме, переклад документів або аугментація даних) ключовими є загальна пропускна здатність та економічна ефективність на токен. Тут A100 пропонують сильний баланс продуктивності та вартості. Якщо модель поміщається, RTX 4090 на платформі, такій як Vast.ai, можуть бути неймовірно економічно ефективними для масивних пакетних завдань, де затримка не є основною проблемою.

Тонке налаштування LLM та навчання моделей

Хоча цей бенчмарк фокусується на інференсі, вибір GPU для інференсу часто збігається з потребами в навчанні. Для великомасштабного навчання базових моделей H100 незамінні. Для тонкого налаштування менших моделей або виконання трансферного навчання A100 залишаються дуже потужними. RTX 4090 може використовуватися для невеликих завдань тонкого налаштування, особливо з методами ефективного тонкого налаштування параметрів (PEFT).

Масштабованість та вибір провайдера

Враховуйте траєкторію зростання вашого проєкту. Провайдери, такі як Lambda Labs та CoreWeave, досягають успіху в наданні великих кластерів високопродуктивних GPU для масивних розгортань. RunPod та Vultr пропонують хороший баланс доступності та масштабованості для зростаючих проєктів. Vast.ai чудово підходить для пікових навантажень або проєктів, чутливих до вартості, готових керувати потенційними перериваннями екземплярів (для спотових екземплярів).

Вибір відповідної хмари GPU для інференсу LLM

Окрім чистої продуктивності та вартості за токен, на оптимальний вибір впливають декілька факторів:

• Доступність: H100 можуть бути дефіцитними. A100, як правило, більш доступні. Регулярно перевіряйте інвентар провайдера.
• Простота використання та інструментарій: Деякі платформи пропонують більше керованих сервісів, готових образів Docker або SDK, які спрощують розгортання.
• Підтримка: Підтримка корпоративного рівня має вирішальне значення для критично важливих виробничих робочих навантажень.
• Вартість передачі даних: Плата за вхідний/вихідний трафік може накопичуватися, особливо для великих моделей або частих переміщень даних.
• Інтеграція з екосистемою: Наскільки добре провайдер інтегрується з вашими існуючими інструментами MLOps, конвеєрами CI/CD та рішеннями для зберігання даних?
• Надійність та час безвідмовної роботи: Важливо для виробничих систем.

Майбутні тенденції в інференсі LLM

Ландшафт інференса LLM постійно розвивається:

• Нове обладнання: Архітектура NVIDIA Blackwell (GB200) обіцяє ще один стрибок у продуктивності, особливо для моделей з трильйонами параметрів. AMD та Intel також досягають успіхів у галузі прискорювачів ШІ.
• Розширена квантизація: Такі методи, як AWQ, SqueezeLLM та подальші розробки в квантизації INT4/INT2, дозволять запускати більші моделі на менших GPU з мінімальним зниженням продуктивності.
• Оптимізовані фреймворки: Триваючі інновації в рушіях інференса (наприклад, vLLM, TensorRT-LLM, TGI) будуть розширювати межі можливого на існуючому обладнанні.
• ШІ на периферії (Edge AI): Менші, високооптимізовані моделі, що працюють на периферійних пристроях, розширять охоплення додатків LLM.