Nvidia Mission Control 2.5 додає автономне відновлення для Kubernetes

Компанія Nvidia випустила Mission Control 2.5, у якому розширила роботу рушія автономного відновлення (autonomous recovery engine) на Kubernetes-навантаження. Раніше ці можливості автоматичного виявлення, діагностики та усунення аномалій були доступні лише для HPC-середовищ під керуванням Slurm. У новій версії планувальником за замовчуванням для Kubernetes виступає інтегрований NVIDIA Run:ai.

Трирівнева архітектура стійкості

Автономне відновлення побудоване як замкнений контур керування, що складається з трьох скоординованих компонентів:

• Рівень розміщення навантажень (NVIDIA Run:ai): керує чергами, політиками та планує запуск завдань на доступних потужностях.
• Сервіс автономного відновлення завдань (Autonomous Job Recovery): відстежує стан запущених задач, топологію виконання та історію збоїв, класифікуючи відповідний сценарій порятунку (перезапуск, повторна спроба чи повернення в чергу).
• Сервіс автономного відновлення обладнання (Autonomous Hardware Recovery): стежить за вузлами та GPU, виводить підозрілі ресурси з пулу планування і запускає діагностику чи ремонтні заходи.

Завдяки розділенню обов'язків сервісу завдань не потрібно займатися лагодженням «заліза», системі моніторингу обладнання не потрібно розуміти специфіку конкретних AI-фреймворків, а планувальник може скеровувати обчислення на справні ресурси без очікування фінального аналізу причин аварії.

Сценарії реагування на збої

Залежно від характеру виявленої проблеми контур Mission Control 2.5 діє за трьома сценаріями:

• Апаратний збій під час навчання: якщо на GPU виникають помилки на кшталт ECC або зависання, процес відновлення ділиться на дві паралельні гілки. Сервіс завдань передає сигнал планувальнику перенести або перезапустити задачу на справних вузлах, тоді як сервіс обладнання паралельно ізолює дефектний вузол, позначає його непридатним для планування та ініціює діагностику.
• Тимчасові програмні збої: якщо помилка має ознаки тимчасової (наприклад, скидання координації або одиничний таймаут), система перезапускає завдання за політикою планувальника, не блокуючи справне обладнання без потреби.
• Раннє виявлення деградації обладнання: якщо вузол генерує повторювані попередження щодо здоров'я GPU чи мережі до падіння завдання, він превентивно вилучається з пулу доступних ресурсів до того, як туди потрапить нове навантаження.

Інші зміни у релізі

Окрім підтримки Kubernetes через Run:ai, у версії Mission Control 2.5 з'явилися:

• бета-версія сервісу виявлення аномалій у мережі на базі ШІ;
• централізована автентифікація між сервісами на базі Keycloak;
• оновлення безпеки та заходи щодо зміцнення (hardening) Kubernetes;
• ранній доступ до підтримки платформи NVIDIA Vera Rubin NVL72.