Amazon SageMaker AI отримав підтримку індексації SOCI для прискорення запуску задач

Компанія AWS оголосила про інтеграцію технології Seekable OCI (SOCI) для задач навчання (Training) та обробки (Processing) в сервісі Amazon SageMaker AI. Нововведення дозволяє прибрати повне завантаження контейнерних образів із критичного шляху виконання завдань.

Як працює ліниве завантаження

Раніше SageMaker AI перед виконанням коду повністю завантажував контейнерний образ з Amazon ECR на інстанс, розпаковував його та записував кожен шар на диск. Для великих deep learning образів (від 10 ГБ) цей процес займав кілька хвилин оплачуваного часу.

SOCI є відкритою технологією, що реалізує відкладене (lazy loading) завантаження контейнерних образів. Замість стягування всього контейнера середовище виконання зчитує лише файли, необхідні для негайного старту контейнера, а решту даних транслює у фоновому режимі під час виконання коду.

Індекс SOCI зберігається в Amazon ECR як окремий OCI-сумісний артефакт, звʼязаний з оригінальним образом. Оскільки він є відокремленим артефактом, хеш (digest) і підписи вихідного образу залишаються валідними.

SageMaker AI автоматично перевіряє наявність індексу:

• Якщо індекс є, образ завантажується ліниво, а контейнер стартує за лічені секунди.
• Якщо індексу немає або виникає помилка його зчитування, сервіс автоматично повертається до стандартного повного завантаження.

Результати тестів

Згідно з вимірюваннями AWS на образах розміром від 1,8 ГБ до 35,4 ГБ на інстансах GPU та CPU (родини ml.g4dn, ml.g5, ml.g6, ml.g7, ml.p4d, ml.p5 тощо):

• Час очікування старту контейнера скоротився до діапазону 3–11 секунд незалежно від розміру образу (для образу 35,4 ГБ прискорення становить близько 38x порівняно зі стандартними 7 хв 17 с).
• Простій GPU під час стягування образів зменшився на величину до 90%.
• На першій епосі навчання спостерігається затримка у 3–16 секунд через завантаження файлів, до яких фреймворк звертається вперше. Починаючи з другої епохи, швидкість виконання повністю збігається зі стандартним запуском. Загальний чистий виграш у часі виконання задачі склав від 1 до 6 хвилин.

Варіанти впровадження та обмеження

Розробники можуть використовувати нову функціональність двома шляхами:

1. Використовувати готові образи AWS Deep Learning Containers із суфіксом -soci у тезі (доступні для PyTorch Training, TensorFlow Training, vLLM, SGLang).
2. Створювати індекси для власних образів за допомогою containerd, soci-snapshotter та утиліт Finch або nerdctl (команда image convert --soci). Також доступний CFN ECR SOCI Index Builder для автоматизації процесу в CI/CD через Amazon EventBridge.

Підтримка SOCI у SageMaker AI доступна у всіх регіонах AWS. Функція діє лише для приватних репозиторіїв Amazon ECR. Крім того, оскільки робота базується на containerd, розробникам слід враховувати відсутність прямого доступу до Docker CLI або /var/run/docker.sock всередині контейнера.