Що нового в Hugging Face Transformers 5.22: Mistral Large 4 та навчання адаптерів на FP8

Коротко

У релізі Transformers 5.22 з'явилася підтримка моделі Mistral Large 4 (Le Chonk) з контекстом 1M токенів та налаштовуваним рівнем міркування. Квантування FP8 тепер підтримує зворотний прохід для донавчання адаптерів із деквантуванням експертів частинами, що суттєво оптимізує споживання пам'яті. Також оновлення містить архітектуру Nemotron 3.5 Transcribe та низку виправлень у конфігураціях, процесорах і пайплайнах.

Нові можливості

Підтримка Mistral Large 4 (Le Chonk)

Бібліотека отримала підтримку флагманської моделі Mistral Large 4:

• Архітектура: мультимодальна Mixture-of-Experts на ~1T загальних параметрів та ~52B активних на токен (з урахуванням ембеддінгів і вихідних шарів; 49B без них), з 128 маршрутизованими експертами (4 активні) та 1 спільним експертом.
• Вхідні та вихідні дані: приймає текст і зображення, генерує текст. Енкодер зображень виконано у стилі Pixtral із підтримкою довільних розмірів і співвідношень сторін.
• Контекстне вікно: розмір підтримуваного контексту становить 1M токенів.
• Режими міркування (Reasoning Mode): підтримується параметр reasoning_effort із трьома значеннями: 'low', 'medium' та 'high' (значення за замовчуванням).
• Агентні функції: виклики функцій (function calling), структурований вивід JSON та суворе дотримання JSON-схем, а також підтримка системних промптів.
• Рекомендовані налаштування: автори рекомендують семплінг із temperature=1.0 та top_p=0.95.
• Ліцензія: поширюється під Mistral Ecosystem Open-Weight License.

Навчання адаптерів на квантованих вагах FP8

• Підтримка PEFT: квантовані моделі FP8 тепер можна використовувати для тренування адаптерів (наприклад, LoRA з PEFT). Додано зворотний прохід (backward pass) для щільних і групованих матричних множень у FP8, а параметр is_trainable набув значення True.
• Оптимізація пам'яті: під час зворотного проходу експерти деквантуються блоками (chunks), а під час інференсу пропускається autograd.Function. Це знижує пікове використання пам'яті в шарі MoE під час backward pass із приблизно 28.9 GiB до 2.8 GiB для послідовностей на 8k токенів.
• Оновлення середовища: в образ AMD CI додано пакети onnxscript, bitsandbytes та peft.

Нові аудіомоделі

• Додано модель Nemotron 3.5 Transcribe.
• Для Nemotron3Diarization реалізовано підтримку лівого контексту (left context support).

Ламаючі зміни

• Відокремлено логіку EP у власний файл (Separate EP logic into its own file, #49679).

Виправлення та покращення

• Процесори та токенізація: прибрано зайві попередження в процесорах; виправлено помилку в Janus, через яку процесор ітерував рядковий промпт посимвольно; усунено проблему з булевим паддінгом у ClapFeatureExtractor.
• Конфігурації: аргумент token тепер прокидається до get_config_dict у методі PreTrainedConfig.from_pretrained; виправлено сетер rope_scaling для конфігурацій, які призначають його під час ініціалізації; виправлено перейменування атрибутів конфігурацій моделей.
• Завантаження та тензори: утиліті PermuteForRope дозволено працювати з поодинокими тензорами під час перейменування; обрізка неініціалізованого шару тепер рахується як no-op.
• Пайплайни та експорт: параметр code_revision передається в усі завантажувачі пайплайнів; увімкнено відкладений (lazy) імпорт моделей у пайплайнах text_to_audio та token_classification, а також відкладене визначення шляхів @register_patch в експортерах.
• Виправлення моделей: усунено переповнення fp16 для pad_val у _forward_transform для timesfm; для чекпоїнтів ESMFold2 без MSA-енкодера вимкнено його побудову; додано kwargs у згорткові шари LFM2.5.
• Колатори даних: типові data collators тепер зберігають типи числових міток NumPy (integer dtypes).
• Патчі 5.22.1 та 5.22.2: видалено незавершену документацію для Mistral Large 4; налаштування device_id обмежено лише бекендом NCCL; посилено ізоляцію (sandboxing) шаблонізатора Jinja.