Nvidia CUDA 13.4 додає ізоляцію памʼяті під час спільного використання GPU в Kubernetes

Багато робочих навантажень штучного інтелекту потребують лише частини ресурсів GPU. Виділення окремого прискорювача під кожну задачу призводить до простою обладнання. У релізі CUDA 13.4 зʼявилося примусове апаратне обмеження памʼяті (memory enforcement), прозоре для застосунків, разом із новим режимом time-sharing на додачу до вже наявного в MPS режиму sm-sharing.

Можливості розподілу в CUDA 13.4

Оновлення приносить декілька ключових функцій для керування памʼяттю та обчисленнями:

• Точний обсяг памʼяті: навантаження запитує фіксований розмір, і вихід за його межі завершується помилкою розподілу, як на меншому фізичному GPU.
• Діапазон лімітів: можливість задати гарантований мінімум і максимум, до якого процес може розширюватися за наявності вільної памʼяті.
• Прозорий ліміт: застосунок бачить лише виділену йому частку відеопамʼяті.
• Вибір режиму обчислень: перемикання між паралельним sm-sharing або послідовним time-sharing.

Інтеграція з Kubernetes через GPU Fractioning Operator

Сама по собі CUDA не може керувати розподілом на рівні кластера Kubernetes. Для запуску відповідних демонів на вузлах, конфігурації лімітів перед стартом контейнерів та збору метрик створено новий відкритий оператор gpu-fractioning (розміщений в організації KAI Scheduler на GitHub). Він працює поряд із NVIDIA GPU Operator.

Оператор автоматично запускає та контролює MPS на GPU-вузлах, застосовує ліміти контейнерів і збирає показники утилізації окремо для кожної виділеної частки.

Підтримка в KAI Scheduler

Першим планувальником із підтримкою gpu-fractioning став KAI Scheduler версії 0.18.0, де зʼявився режим NvFractions. Планувальник обирає GPU для завдання та записує параметри в анотації Pod, які потім зчитує оператор:

• nvidia.com/container.<name>.gpu-memory.request — гарантований обсяг памʼяті (в абсолютних величинах на кшталт 40Gi або часткою gpu-fraction: "0.5").
• nvidia.com/container.<name>.gpu-memory.limit — опційний максимальний ліміт розширення (burst).
• nvidia.com/container.<name>.gpu-compute.mode — режим обчислень (time-slicing за замовчуванням або sm-sharing).
• gpu-fraction-num-devices — кількість GPU, якщо задача розподіляється на декілька пристроїв.

Різниця між Time-slicing та SM-sharing

При використанні time-slicing навантаження чергуються на прискорювачі в часі. Цей режим забезпечує повну ізоляцію збоїв (власний error domain), тому падіння одного процесу не впливає на сусідні.

У режимі sm-sharing потокові мультипроцесори (SM) діляться динамічно між запущеними процесами для одночасного виконання, проте навантаження ділять спільний error domain. KAI Scheduler відстежує режими на рівні окремих GPU й не поєднує різні підходи на одному пристрої.