Hugging Face Transformers 5.18: Nemotron 3 Diarization, NemotronH Omni та нові моделі

Коротко

У релізі Hugging Face Transformers 5.18 додано підтримку нових моделей: системи діарізації аудіо Nemotron 3 Diarization, омнімодальної архітектури NemotronH Omni, мультимодальної HyperCLOVAX Vision V2 та архітектури енкодера GTE. Також оновлення містить перелік ламаючих змін, оптимізації для паралелізму й усунення помилок під час генерації та завантаження ваг.

Нові можливості

Моделі аудіо та мультимодальні архітектури

• Nemotron 3 Diarization: модель із відкритими вагами для стримінгової та офлайн-діарізації мовців («хто говорив і коли»), що підтримує до восьми учасників. Порядок виводу визначається за черговістю появи мовця у вхідному аудіо. Архітектура використовує Arrival-Order Speaker Cache (AOSC) і чергу FIFO. Єдиний чекпоїнт забезпечує конфігурацію профілів затримки від 80 мс до буфера офлайн-типу на 30.4 с із налаштовуваною дискретизацією вихідного фрейму, кратною 10 мс. При чанковому інференсі тривалість аудіо не обмежена.
• NemotronH Omni: мультимодальна модель від NVIDIA для спільних міркувань над текстом, зображеннями, відео та звуком. Поєднує гібридну Mamba-Transformer мовну модель NemotronH, зоровий енкодер RADIO та опціональний звуковий енкодер на базі Parakeet. Патчі зображень і відео проєктуються через блок RADIO та pixel-shuffle MLP у простір ембедингів мовної моделі на позиціях <image> / <video>, а аудіофрагменти — на позиціях <audio>.
• HyperCLOVAX Vision V2: мультимодальна vision-language модель від NAVER. Поєднує мовну основу HyperClovaX із енкодером зображень Qwen2.5-VL. Підтримує введення тексту, зображень і відео, а також покрокові міркування (chain-of-thought) через вбудовані токени роздумів (<think>...</think>).

Текстові представлення та ембединги

• GTE: архітектура двонаправленого енкодера в стилі BERT, де абсолютні позиційні ембединги замінено на RoPE, використовується gated MLP, а Layer Normalization застосовується після кожного residual-з'єднання. Архітектура забезпечує роботу чекпоїнтів gte-*-v1.5, gte-multilingual-*, gte-en-mlm-* та snowflake-arctic-embed-m-v2.0.

Ламаючі зміни

У цьому випуску позначено такі несумісні зміни:

• [ROCm]: перенаправлення FA3 на aiter-flash-attn та генерація фікстур для ROCm у моделях gpt-oss (#46837).
• Зміна процесу обробки зображень у detr задля оптимізації швидкості (#48066).
• Перепризначення layer_type для індексаторів (#48974).
• [vLLM]: виправлення підрахунку відеотокенів для візуальних входів бекенду Transformers (#48894).
• Оновлення низки компонентів DINO до сучасних стандартів (#46266).
• Оновлення версії в Kernels (#48714).

Виправлення та покращення

• Розподілений інференс і паралелізм: уніфіковано ініціалізацію device_mesh для забезпечення роботи пайплайн- та тензорного паралелізму (PP + TP), додано підтримку FSDP2 разом із expert parallelism через двовимірну сітку пристроїв (fsdp, tp) та відновлено попередній механізм ініціалізації tensor-parallel.
• Підтримка GGUF: реалізовано підтримку MoE у межах інтеграції GGUF, а також додано Qwen3.8 GGUF.
• Апаратні оптимізації та ядра: для XPU зареєстровано шари activation kernel, додано записи відображення ядер для RMSNormGated, KDA і Conv1D, а для Flash Attention 2 додано підтримку MUSA.
• Кешування та генерація: метод generate та процесори логітів зроблено незалежними від розміру виходу lm_head; додано ранній скид attention mask у generate за відсутності падінгу; увімкнено torch.compile і налагоджено StaticCache для Mllama.
• Завантаження та стан моделей: виправлено помилку AutoModel.from_pretrained, яка не відновлювала ваги modules_to_save; усунено проблему з випадковою ініціалізацією під час завантаження RTDetrModel та SEWDForCTC через неправильний base_model_prefix; виправлено падіння TextToAudioPipeline для моделей лише з токенізатором.
• Обробка шаблонів чату й інструментів: додано приведення типів аргументів oneOf у парсингу чату та передачу sampling_rate під час виклику apply_chat_template.