Основна мета створення NVIDIA GB300 NVL72 була в тому, щоб підвищити продуктивність AI. Як відомо, AI розвивався навколо трьох фундаментальних вимірів масштабування: до навчання, після навчання та масштабування під час логічного висновку, також відоме, як тривале міркування. Цей третій вимір є критично важливим для реалізації агентського AI, де моделі повинні швидко аналізувати складні запити під час логічного висновку. На відміну від традиційного одноразового виведення, масштабування під час тестування може вимагати до 100 разів більше обчислень, оскільки моделі оцінюють кілька потенційних відповідей, перш ніж вибрати найточніший результат.

GB300 NVL72 максимізує загальну продуктивність AI-фабрики, усуваючи ключові вузькі місця в обчисленнях на основі AI. На рівні мікросхем щільно упакований HBM3e збільшує ємність пам'яті до 288 ГБ на графічний процесор. Кожен із 72 графічних процесорів у стійці підключений до NVLink зі швидкістю 1,8 TB/s, створюючи масивний пул HBM3e об'ємом 21 TB, що є безпрецедентною ємністю для зберігання масивних моделей AI в найшвидших областях ієрархії пам'яті. На рівні дата центра обробки даних провідна система прямого рідинного охолодження Supermicro забезпечує термічну стабільність для найвимогливіших робочих навантажень AI. Зокрема, GB300 NVL72 пропонує значне прискорення для програм навчання AI, із підвищеними вимогами до пам'яті.

NVIDIA GB300 NVL72 має повністю рідинно-охолоджувану архітектуру на рівні стійки, яка інтегрує 72 графічні процесори NVIDIA Blackwell Ultra та 36 процесорів Arm®-based NVIDIA Grace™ в одну платформу, спеціально створений для завдань масштабування висновків під час тестування або міркувань на основі AI. Система забезпечує в 1,5 рази вищу щільність FLOPS тензорних ядер FP4 та вдвічі вищу продуктивність концентрації уваги порівняно з графічними процесорами NVIDIA Blackwell. AI-фабрики, прискорені GB300 NVL72 - з використанням NVIDIA Quantum-X800 InfiniBand або Spectrum-X™ Ethernet, мережеві адаптери ConnectX-8 SuperNIC™ та система керування NVIDIA Mission Control™, забезпечують до 50-кратного загального збільшення продуктивності AI-фабрики порівняно з платформами на базі Hopper.

З 279 GB пам’яті HBM3E на кожному чипі Blackwell Ultra та до 37 ТB високошвидкісної пам’яті на стійку, у поєднанні з обчислювальною потужністю 1,44 exaFLOPS і єдиним доменом NVIDIA NVLink™ на 72 графічних процесора, Blackwell Ultra забезпечує безпрецедентну швидкість та масштаб для підтримки більших моделей, сприяючи проривам у сфері AI. У поєднанні з бібліотеками CUDA-X™ для прискорених обчислень NVIDIA прискорює всю апаратну та програмну обчислювальну інфраструктуру. Нижче зображено дизайн стелажа крупним планом:

Більш детально с характеристиками можете ознайомитись на офіційному сайті Supermicro.

Крива, що зображена нижче, ілюструє ключові параметри, які визначають дохід від токенів AI фабрик. Вертикальна вісь представляє пропускну здатність токенів графічного процесора за секунду (TPS) в одній мегаватній (MW) AI фабриці, тоді як горизонтальна вісь кількісно визначає інтерактивність користувача та швидкість реагування, як TPS для одного користувача. При оптимальному перетині пропускної здатності та швидкості реагування, GB300 NVL72 забезпечує 50-кратне загальне збільшення продуктивності AI фабрики, порівняно з архітектурою Hopper для максимального доходу від токенів.

GB300 NVL72 пропонує передові можливості для дифузійних моделей генерації відео. Одна п'ятисекундна послідовність генерації відео обробляє 4 мільйони токенів, що вимагає майже 90 секунд для генерації на графічних процесорах NVIDIA Hopper. Платформа Blackwell Ultra дозволяє генерувати відео в режимі реального часу з базових моделей світу, таких як NVIDIA Cosmos™, забезпечуючи 30-кратне покращення продуктивності порівняно із Hopper. Це дозволяє створювати фото реалістичніше, часово та просторово стабільне відео для фізичних застосувань AI.

Рішення для блоку центрів обробки даних від Supermicro® прискорюють час виходу на ринок та час введення в експлуатацію, пропонуючи комплексне рішення з усією критично важливою обчислювальною та охолоджувальною інфраструктурою, а також обслуговуванням/сервісом та підтримкою на місці. Від окремих графічних процесорів до повних стійок та інфраструктури на місці, Supermicro забезпечує комплексне розгортання з максимальною гнучкістю.

NVIDIA AI Enterprise — це комплексна програмна платформа, яка робить генеративний AI доступним для кожного підприємства, забезпечуючи найшвидше та найефективніше середовище виконання для базових моделей генеративного AI.

Джерела та додаткова інформація

Supermicro Datasheet

NVIDIA GB300 NVL72

NVIDIA Blackwell Ultra Datasheet