AMD MI455X Helios: Інновації та виклики на ринку ШІ

Апаратні інновації MI455X

AMD MI455X є передовим чипом для дата-центрів, що використовує 2-нанометровий техпроцес (N2) для своїх обчислювальних тайлів та процесора Venice. Це робить AMD першою компанією, яка постачає 2-нм кремній для дата-центрів, тоді як конкуруючі платформи використовують N3. MI455X лідирує в інтеграції на рівні пакета, будучи найбільшим модулем CoWoS-L з розміром 5.5x ретикла. AMD також є єдиною компанією, що застосовує гібридне з'єднання TSMC SoIC-X, що дозволяє масштабувати кремнієвий простір у всіх трьох вимірах. Загальна площа логічного кремнію в пакеті становить 3470 мм², що є найбільшим показником для одного пакета.

Пакет MI455X запозичує багато елементів у MI355X, включаючи 8 N2 «XCD» (Compute Dies), гібридно з'єднаних поверх двох базових кристалів розміром з ретикл, які містять SRAM, контролери HBM та обчислювальну мережу. Нововведенням є два окремі кристали вводу/виводу для зовнішніх комунікацій, які підтримують 72 лінії, сумісні з різними протоколами, такими як UALoE 212G, Infinity Fabric 64G, PCIe Gen 6, UALink 128G та xGMI4.

MI455X забезпечує пікову теоретичну щільність FP8 у 20 петафлопс, тоді як Rubin від Nvidia — 17.5 петафлопс. Однак, MI455X не має 3-бітових тензорних ядер LUT, які присутні в Rubin SM107. Чип оснащений 12 стеками HBM4, що забезпечує 432 ГБ пам'яті на пакет, що є лідерством у галузі порівняно з 8 стеками та 288 ГБ у конкурентів. Пропускна здатність пам'яті становить 23.3 ТБ/с на чип. MI455X також є першим відомим чипом, що постачається з активними локальними кремнієвими інтерконектами (LSI), які містять схеми для регенерації сигналів.

Архітектура стійки Helios

Стійка AMD Helios є відповіддю на архітектуру Nvidia GB200/GB300 Oberon. Вона інтегрує 72 GPU MI455X через 12 комутаторів Tomahawk 6 (102.4T) у однорівневій мережі «всі-до-всіх». Кожен GPU має 72 лінії UALoE 200G для мережі масштабування, забезпечуючи загальну пропускну здатність 1.8 ТБ/с. Стійка складається з 18 обчислювальних лотків (кожен з 4 GPU MI455X та 1 CPU Venice) та 6 лотків комутаторів масштабування (кожен з 2 комутаторами Tomahawk 6).

Дизайн стійки Helios використовує flyover-кабелі для з'єднання між модулями, що, хоча й забезпечує кращу цілісність сигналу, може створювати проблеми у виробництві та обслуговуванні. Наприклад, у обчислювальному лотку до 12 кабелів Genesis (Molex) розміщуються у 1U просторі разом з рідинним охолодженням. На стороні комутатора масштабування 1728 кабелів прокладаються від роз'ємів об'єднувальної плати до портів комутатора TH6. Загальна вартість об'єднувальної плати та обчислювального лотка на стійку становить $68,928, з яких $24,576 припадає на flyover-кабелі.

Через слабкий дизайн SerDes AMD, до 85% об'єднувальної плати потребує ретаймінгу, що вимагає понад 550 ретаймерів Broadcom Ethernet на стійку. Це додає витрат та енергоспоживання, а також ускладнює збірку.

Мережеві рішення

MI455X є першим розгортанням GPU AMD з комутованим масштабуванням у межах стійки, що є значним оновленням порівняно з сіткою «точка-точка» з 8 GPU у попередніх моделях. Кожен MI455X може підключатися до трьох мережевих карт AMD Pensando Vulcano 800 AI NIC, забезпечуючи 2.4 Тбіт/с пропускної здатності для масштабування. Vulcano підтримує багатоплощинну топологію leaf-spine, що є поширеним рішенням у сучасних кластерах ШІ. У кластері з 131 тис. MI455X та 8 площинами, кожна NIC Vulcano 800G розбивається на чотири 200G лінії, надаючи кожному GPU одне з'єднання до кожної з восьми незалежних площин.

Ключові клієнти та партнерства

Anthropic публічно оголосила про розгортання 2 ГВт чипів AMD. Microsoft, яка раніше відмовилася від AMD після MI300X через проблеми з пам'яттю HBM та якістю ПЗ, тепер оголосила про розгортання MI455X Helios. Очікується, що OpenAI буде основним кінцевим споживачем стійок Azure MI455X. AMD також укладає угоду з Cerebras для PD-дезагрегації для надшвидкого інтерактивного висновку.

Meta, один з найбільших клієнтів AMD, замовила кастомізований варіант MI455X, який є зменшеною версією: обчислювальний кремній зменшено вдвічі (з 8 до 4 кристалів), а HBM — з 12 до 6 стеків на пакет. Ця конфігурація призначена для робочих навантажень Recsys, але не приваблива для навчання та висновку великих мовних моделей.

Програмні виклики та внутрішня інфраструктура

Незважаючи на апаратні досягнення, AMD стикається з критичними проблемами у програмному забезпеченні та внутрішній інфраструктурі. Основна скарга інженерів AMD — постійна нестача стабільних GPU-кластерів для внутрішньої розробки програмного забезпечення та автоматизованого тестування CI. Це уповільнює прогрес AMD та перешкоджає використанню потенціалу агентного кодування ШІ, оскільки кожен агент потребує GPU для тестування.

Прогрес у автоматизованому тестуванні, зокрема для Kubernetes Inferencing Pollara NIC CI, відстає, маючи 0% паритету з Nvidia ConnectX Nightly CI. Запланований термін досягнення паритету до Advancing AI 2026 був пропущений через проблеми з кластерами. Прогрес у автоматизованому тестуванні vLLM також регресував через проблеми зі стабільністю інфраструктури кластерів AMD, оскільки керівництво перерозподілило кластери від внутрішньої команди vLLM через дефіцит потужностей.

Навіть з додатковими 2000 MI355X, що надходять цього місяця, та 6000 MI325X/MI355X пізніше цього року, загальна внутрішня потужність GPU залишатиметься на порядок меншою, ніж у Nvidia для внутрішньої розробки. Крім того, MI455 (gfx1250) має абсолютно іншу архітектуру набору команд (ISA) від MI355 (gfx950), що вимагає тестування на обох, додатково навантажуючи потужності.

Фінансові стимули та ринкова позиція

AMD пропонує значні фінансові стимули, такі як знижки на акції до 105% для Meta та OpenAI, що робить вартість за мільйон токенів «практично негативною» при комбінації з цією структурою. Це дозволяє AMD «практично віддавати» стійки Helios. Хоча AMD може збільшити свою частку ринку, це не означає, що Nvidia буде працювати погано, оскільки загальний ринок швидко зростає.

Що це означає для розробників

Для розробників, які працюють з екосистемою AMD, новина підкреслює відкритість компілятора та ядер AMD, що може сприяти адаптації. Однак, внутрішні проблеми AMD з нестачею стабільних GPU-кластерів для розробки та тестування, а також затримки у досягненні паритету CI, вказують на потенційні труднощі з підтримкою та швидкістю впровадження нових функцій.

Ключові факти

MI455X є першим 2-нм чипом для дата-центрів з передовою інтеграцією (CoWoS-L, SoIC-X) та 432 ГБ HBM4.
Стійка AMD Helios інтегрує 72 GPU MI455X з 12 комутаторами Tomahawk 6, використовуючи flyover-кабелі, що створює виробничі виклики.
AMD стикається з проблемами у виробництві стійок Helios (через дизайн без кабелів, слабкий SerDes) та нестачею внутрішніх GPU-кластерів для розробки ПЗ та тестування CI.
Anthropic та Microsoft оголосили про розгортання чипів AMD, тоді як Meta замовила кастомізовану, зменшену версію MI455X.
AMD пропонує значні фінансові стимули (знижки на акції до 105%) для великих клієнтів, таких як Meta та OpenAI, щоб прискорити впровадження Helios.