Moreh: Високопродуктивний LLM інференс на AMD GPU

Moreh на AMD Advancing AI 2026

Компанія Moreh, розробник програмного забезпечення для інфраструктури штучного інтелекту, взяла участь у щорічному заході AMD Advancing AI 2026, що відбувся 22–23 липня в Сан-Франциско. На цій події Moreh продемонструвала своє рішення для розподіленого висновку, MoAI Inference Framework, що працює на графічних процесорах AMD. Стенд Moreh відвідали голова та генеральний директор AMD доктор Ліза Су, а також заступник прем'єр-міністра та міністр науки та ІКТ Бе Кюн-хун.

Демонстрація MoAI Inference Framework

Під час заходу Moreh провела живу демонстрацію великої мовної моделі (LLM) GLM-5.1, яка працювала на системі, оснащеній 32 графічними процесорами AMD Instinct™ MI300X, розподіленими між чотирма вузлами. Відвідувачі могли особисто випробувати чат-бот, оцінюючи швидкість його відповіді та якість обслуговування, а також спостерігаючи за продуктивністю в різних реальних сценаріях використання.

На відміну від типових демонстрацій, Moreh у реальному часі відображала ключові метрики сервісу висновку, такі як завантаження GPU, кількість токенів на секунду (TPS), час до першого токена (TTFT) та час на вихідний токен (TPOT). Це дозволило учасникам безпосередньо перевірити як продуктивність висновку, так і ефективність використання ресурсів GPU в умовах, наближених до виробничого середовища. Лідери світової індустрії ШІ та корпоративні клієнти висловили значний інтерес до швидкого часу відгуку та стабільної роботи системи.

Значення MoAI Inference Framework

MoAI Inference Framework від Moreh визнано першим у світі комерційно розгорнутим рішенням для розподіленого висновку, створеним для екосистеми AMD. Його технології розподіленого висновку та гетерогенних обчислень розроблені для значного зниження витрат на послуги ШІ, сприяючи ширшому впровадженню штучного інтелекту в усьому світі. Ця технологія вирішує одну з найбільших проблем галузі — швидке зростання витрат на інфраструктуру та послуги, спричинене постійним збільшенням розмірів моделей ШІ, — забезпечуючи ефективнішу інфраструктуру висновку.

Стратегічний розвиток Moreh

Генеральний директор Moreh Ганвон Джо зазначив, що захід надав глобальним клієнтам можливість особисто переконатися в досягненні найвищої продуктивності висновку в середовищах GPU AMD. Він додав, що компанія продовжить розвивати своє програмне забезпечення для інфраструктури ШІ, щоб підприємства могли максимально ефективно експлуатувати сервіси ШІ, незалежно від базової платформи GPU. Moreh розробляє власний механізм інфраструктури ШІ та розширила свої наскрізні можливості ШІ через свою дочірню компанію Motif Technologies, що спеціалізується на базових LLM, охоплюючи як інфраструктуру ШІ, так і базові моделі. Компанія також зміцнює свою присутність на світовому ринку ШІ через стратегічні партнерства з провідними технологічними компаніями, включаючи AMD та Tenstorrent.

Що це означає для розробників

Ця новина означає, що розробники тепер мають доступ до комерційно розгорнутого рішення для ефективного висновку великих мовних моделей на GPU AMD. Це дозволяє знизити витрати на інфраструктуру ШІ та забезпечити високу продуктивність, незалежно від базової апаратної платформи.

Ключові факти

Moreh продемонструвала своє рішення MoAI Inference Framework на заході AMD Advancing AI 2026.
Рішення забезпечує висновок великої мовної моделі GLM-5.1 на системі з 32 графічними процесорами AMD Instinct MI300X.
Демонстрація включала відображення ключових метрик продуктивності в реальному часі, таких як TPS, TTFT та TPOT.
MoAI Inference Framework є першим у світі комерційно розгорнутим рішенням для розподіленого висновку, створеним для екосистеми AMD.
Технологія спрямована на значне зниження витрат на послуги ШІ та підвищення ефективності інфраструктури.