Єврокомісія представила LLM та бенчмарк для мов ЄС

Європейська Комісія через Генеральний директорат з питань перекладу (DG Translation) оголосила про випуск відкритої великої мовної моделі (LLM), навченої на багатомовних даних інституцій ЄС.

Інституційна LLM Європейського Союзу

Модель, названа EU Institutional LLM, була анонсована 16 липня 2026 року. Її основне призначення — покращити підтримку всіх 24 офіційних мов ЄС, а також ефективніше обробляти термінологію та інституційний контент Європейського Союзу. DG Translation охарактеризував модель як «кращий варіант для тем ЄС та більш придатний для державних адміністрацій ЄС, малого бізнесу, наукових кіл та неурядових організацій».

Випуск включає базову модель та версію, адаптовану для виконання інструкцій. Обидві моделі базуються на відкритій моделі Mixtral 8x7B від Mistral AI, обраній у рамках зосередженості Комісії на європейських технологіях. Розробка моделі відбувалася з використанням Euramis — бази даних інституцій ЄС, що містить професійно перекладені законодавчі, адміністративні та політичні тексти. За даними DG Translation, EU Institutional LLM перевершила оригінальну модель Mixtral у всіх протестованих мовах на бенчмарку, заснованому на інституційних текстах ЄС.

Моделі випущені під ліцензією Apache 2.0, яка дозволяє їх повторне використання та модифікацію. Однак доступ до них обмежений для юридичних осіб, що базуються в ЄС. EU Institutional LLM вже використовується в eSummary — багатомовній службі Комісії для узагальнення документів, а майбутні ітерації будуть інтегровані в інші її інструменти на основі ШІ. Європейська Комісія позиціонує EU Institutional LLM як частину своїх зусиль зі зміцнення європейського суверенного ШІ.

Новий бенчмарк EU MMLU

Після випуску моделі DG Translation також анонсував EU MMLU — новий бенчмарк для оцінки LLM у мовах ЄС. DG Translation зазначив, що створення моделі, яка охоплює всі офіційні мови ЄС, є лише частиною завдання, і для вимірювання продуктивності моделі в різних мовах потрібні надійні інструменти.

EU MMLU базується на широко використовуваному бенчмарку Massive Multitask Language Understanding (MMLU), який тестує моделі за допомогою запитань з множинним вибором у різних предметних областях. На відміну від багатьох існуючих багатомовних бенчмарків, створених переважно за допомогою ШІ-перекладу, для EU MMLU професійні перекладачі з DG Translation та студенти мережі European Master’s in Translation перекладали запитання без використання ШІ-перекладу як відправної точки, а потім перевіряли роботу один одного. Координацію робочого процесу здійснювали студенти-менеджери проєктів, а мовні підрозділи DG Translation надавали рекомендації щодо термінології та мовних особливостей.

Перший випуск EU MMLU включає понад 1000 запитань та охоплює 16 офіційних мов ЄС, з планами розширення до решти офіційних мов. Бенчмарк доступний під ліцензією Creative Commons Attribution 4.0 через Hugging Face та European Language Data Space. DG Translation також опублікував набір критеріїв якості для розробки багатомовних бенчмарків, орієнтованих на ЄС, з довгостроковою метою встановлення «стандарту для багатомовної оцінки ШІ в Європі».

Що це означає для розробників

Розробники, які працюють з багатомовними додатками в ЄС, тепер мають доступ до відкритої LLM, спеціально навченої на інституційних даних ЄС, що може покращити обробку термінології та контенту ЄС. Обмежений доступ до моделі для юридичних осіб з ЄС та ліцензія Apache 2.0 дозволяють її повторне використання та модифікацію. Крім того, новий бенчмарк EU MMLU надає надійний інструмент для оцінки продуктивності LLM у мовах ЄС, що є важливим для розробки та вдосконалення багатомовних ШІ-рішень.

Ключові факти

Генеральний директорат з питань перекладу (DG Translation) Європейської Комісії випустив відкриту велику мовну модель (LLM) – EU Institutional LLM.
EU Institutional LLM анонсовано 16 липня 2026 року, призначена для покращення підтримки 24 офіційних мов ЄС та обробки інституційного контенту.
Модель базується на Mixtral 8x7B від Mistral AI та навчена на даних Euramis (база даних професійно перекладених текстів ЄС).
EU Institutional LLM перевершила оригінальну модель Mixtral у всіх протестованих мовах на бенчмарку, заснованому на інституційних текстах ЄС.
Модель випущена під ліцензією Apache 2.0, доступ обмежений для юридичних осіб, що базуються в ЄС.