Що нового у vLLM 0.32: ендпоінт /v1/systemone, Model Runner V2 та розширений low-precision KV-кеш

Коротко

У релізі vLLM 0.32 представлено новий ендпоінт POST /v1/systemone для структурованих відповідей та універсальні парсери інструментів і міркувань hf. Значно розширено підтримку низькоточного KV-кешу NVFP4 та FP8 на різних поколіннях GPU, а архітектура Model Runner V2 тепер використовується за замовчуванням на ROCm. Також оновлення містить безпекові виправлення та низку ламаючих змін, серед яких відмова від Python 3.10.

Нові можливості

Структуровані виклики та парсери

• Додано ендпоінт POST /v1/systemone, який відповідає на запити типів choice, noul та score за структурованим станом і запущений за замовчуванням. Він також працює з моделями Cloudflare/clef-omni, LiquidAI/d1-3B та DiffusionGemma.
• З'явилися парсери інструментів та міркувань hf (--tool-call-parser hf, --reasoning-parser hf), які зчитують response_template із чекпойнта моделі без потреби у специфічних для моделі парсерах; вони підтримуються в Python- та Rust-фронтендах.

Low-precision KV-кеш

• NVFP4 KV-кеш тепер підтримується на архітектурах SM8x, SM12x, SM90, а також з XQA decode на SM12x і sparse attention MiniMax-M3 на SM100.
• Для GLM-5.x на SM100 за замовчуванням увімкнено FP8 KV-кеш.
• На архітектурі SM90 додано fp8_ds_mla для моделі GLM-5.3-Flash.
• Для платформи ROCm реалізовано 4-бітний KV-кеш ultraquant_4bit.

Model Runner V2 (MRV2)

• Додано спекулятор GPU n-gram з чернетками змінної довжини (variable-length drafts).
• Реалізовано механізм Elastic EP із масштабуванням drain-then-commit.
• Додано конвеєрний паралелізм (pipeline parallelism) із контекстним паралелізмом префілу для моделей MLA.
• Впроваджено режим STOCK_TORCH_COMPILE.
• Архітектуру MRV2 зроблено типовою для ROCm із видаленням специфічних винятків для MRV1.

Прискорення запуску та оптимізація пам'яті

• Команда vllm download-kernels тепер встановлює попередньо скомпільовані ядра FlashInfer.
• Команда vllm preload --preload-autotune дозволяє зберігати таблицю автотюнінгу FlashInfer гарячою між перезапусками.
• Реалізовано арену тензорів у спільній пам'яті (--enable-shm-tensor-arena, активна за замовчуванням) для передачі великих мультимодальних тензорів воркерам однією копією.
• Токенізатори та процесори завантажуються з локального снепшоту.
• Якщо прапорець --api-server-count більший за 1, кожне з'єднання спрямовується до найменш завантаженого API-воркера.

Підтримка моделей

• Додано моделі EmbeddingGemma 2 (google/embeddinggemma-2) з пропуском невикористаних модальних енкодерів через --limit-mm-per-prompt, MiniCPM-V 4.7 та повну транскрипцію аудіо для Nemotron 3.5 ASR (nvidia/nemotron-3.5-asr-streaming-0.6b).
• Бейкенд Transformers тепер підтримує вхідне відео, а також моделі Glm, Arcee, CWM, Mellum, GPT-NeoX, Phi, Seed-OSS та Jais2.
• Додано підтримку LoRA для ембеддінг-моделей BERT, RoBERTa та XLM-RoBERTa.
• Реалізовано підтримку Granite як цілі для EAGLE3/DFlash, Qwen3-ASR EAGLE3, Sarvam MLA EAGLE3/DSpark з PP, GLM-5.3-Flash з DFlash2 drafter, а також MiniMax-M3 EAGLE3 при PP > 1 на MRV2.

Ламаючі зміни

• Припинено підтримку версії Python 3.10.
• Змінено поведінку CORS за замовчуванням: дозволи для всіх джерел підряд більше не активні.
• Оновлено залежності: потрібні версії transformers>=5.16.1,<5.20.0 та tokenizers>=0.23.2.
• Видалено проходи torch.compile для sequence parallelism та AsyncTP.
• Видалено механізм cascade attention.
• Видалено режим mamba_cache_mode="all".
• Значення max_tokens більше не резервується з контекстного вікна.
• Перейменовано події стрімінгу міркувань у Responses API.

Виправлення та покращення

• Усунуто проблеми безпеки: GHSA-4hhp-h66f-j5j7 (вичерпання ресурсів через chat template), GHSA-q97c-p368-75c4 (параметр max_token_id токенізатора) та GHSA-frvg-qw88-hww9 (вичерпання P2P ZMQ-сокетів).
• Недовірені зображення тепер обмежуються лише растровими форматами; додано відхилення схем JSON із рівнем вкладеності понад 64.
• Підписано дескриптори мультимодального кешу в спільній пам'яті.
• Для DeepSeek-V4/V4.1 виправлено помилку з 0% прийняттям чернеток для NVFP4, запис нульових блоків у кільцевому компресорі та порядок фіналізації MegaMoE.
• Для GLM-5.3 виправлено падіння vision-tower, бюджети енкодера для неквадратних зображень, запуск DP та часові мітки відео.
• У Qwen3-VL/Qwen3.5/Qwen3.8 кеш M-RoPE зменшено в 4 рази; виправлено обробку невідомого fps відео в Qwen3-VL.
• Режим сну тепер звільняє простір скретч-пам'яті та стан KV-ініціалізації, а також додано прапорець --sleep-preserve-parameter-names і ендпоінт POST /weight_checker.