NVIDIA представила перевірений рантайм Kubernetes для інференсу з Dynamo

Фреймворк NVIDIA Dynamo призначений для координації розподіленого інференсу моделей (vLLM, SGLang, TensorRT LLM) між GPU-вузлами. Проте розгортання в Kubernetes вимагає підготовки драйверів, моніторингу, мережі та планувальника. Щоб спростити налаштування інфраструктури, в межах платформи NVIDIA DSX AI Factory представлено NVIDIA AI Cluster Runtime (AICR) — інструмент, що пакує Dynamo та необхідні системні компоненти у валідовані рецепти з зафіксованими версіями.

Що входить до рецепта AICR

Рецепт AICR постачає чарт dynamo-platform версії 1.4.2, що містить Dynamo Operator, рантайм-образи та CRD DynamoGraphDeployment версії nvidia.com/v1beta1 (замінила v1alpha1). Стек інфраструктури також включає:

• NVIDIA GPU Operator (v26.7.1) та Node Feature Discovery для виявлення вузлів;
• NVIDIA DRA GPU Driver для Kubernetes-native динамічного виділення ресурсів (Dynamic Resource Allocation);
• KAI Scheduler (топологія та gang scheduling) і Grove для оркестрації багатокомпонентних графів інференсу;
• NVSentinel і Nodewright для зняття сигналів справності вузлів перед надсиланням навантаження;
• Prometheus stack для метрик;
• agentgateway та ресурси Gateway API для ingress-трафіку.

У Dynamo 1.4 компоненти виявляють один одного засобами Kubernetes, тому брокер NATS вимкнено за замовчуванням (він лишається опціональним). Запити передаються через TCP, а події KV-кешу — через ZMQ.

Маршрутизація: Dynamo Frontend проти Gateway API / EPP

Dynamo підтримує два шляхи маршрутизації:

1. Dynamo Frontend router: клієнт звертається до сервісу Dynamo Frontend (DYN_ROUTER_MODE=kv), який токенізує запит, оцінює воркерів за збігом префіксів та навантаженням і передає запит через TCP. Це найкомпактніша конфігурація для виділеного ендпойнта моделі.
2. Gateway API Inference Extension (GAIE) та Dynamo EPP: трафік надходить на агент-шлюз (agentgateway), який резолвить HTTPRoute до InferencePool. Шлюз викликає Dynamo Endpoint Picker Plugin (EPP) через інтерфейс вибору ендпойнтів GAIE. EPP обирає воркера, а сам шлюз проксує запит до контейнера сайдкара воркера (--router-mode direct). Цей варіант підходить для спільного інґресу кластера.

У версії Dynamo 1.4 шлях GAIE базується на Go-фреймворку з Rust KV-роутером через CGO. Починаючи з Dynamo 1.5, заплановано перехід на нативний Rust EPP, який реалізує інтерфейс GAIE Lightweight Endpoint Picker (ext_proc) напряму без оверхеду Go/CGO.

Обидва підходи підтримують дизагрегований інференс — розділення обробки промпту (prefill) і генерації токенів (decode).

Процес розгортання через AICR

Робота з інструментом розбита на кроки:

1. Знімок кластера: команда aicr snapshot зчитує конфігурацію, маркування вузлів і толерантності.
2. Генерація рецепта: aicr recipe створює маніфест з урахуванням дистрибутива Kubernetes, типу GPU та ОС (наприклад, для систем NVIDIA GB200 NVL72 та GB300 NVL72 на Amazon EKS).
3. Рендеринг бандла: aicr bundle готує маніфести та значення для обраного деплоєра (Helm, Helmfile, Argo CD або Flux).
4. Розгортання: інфраструктурні рівні застосовуються послідовно через Helmfile або скрипти з урахуванням залежностей.
5. Валідація: aicr validate виконує перевірку виділених GPU, справності GPU Operator, доступності метрик і готовності Gateway API перед встановленням самого робочого навантаження DynamoGraphDeployment.