Єврокомісія представила інституційний LLM та бенчмарк для мов ЄС

Європейська Комісія через Генеральний директорат з питань перекладу (DG Translation) оголосила про випуск відкритої великої мовної моделі (LLM), навченої на багатомовних даних інституцій ЄС.

Інституційна LLM Європейського Союзу

Модель, названа EU Institutional LLM, була анонсована 16 липня 2026 року. Її основне призначення — покращити підтримку всіх 24 офіційних мов ЄС, а також ефективніше обробляти термінологію та інституційний контент Європейського Союзу. DG Translation охарактеризував модель як «кращий варіант для тем ЄС та більш придатний для державних адміністрацій ЄС, малого бізнесу, наукових кіл та неурядових організацій».

Випуск включає базову модель та версію, адаптовану для виконання інструкцій. Обидві моделі базуються на відкритій моделі Mixtral 8x7B від Mistral AI, обраній у рамках зосередженості Комісії на європейських технологіях. Розробка моделі відбувалася з використанням Euramis — бази даних інституцій ЄС, що містить професійно перекладені законодавчі, адміністративні та політичні тексти. За даними DG Translation, EU Institutional LLM перевершила оригінальну модель Mixtral у всіх протестованих мовах на бенчмарку, заснованому на інституційних текстах ЄС.

Моделі випущені під ліцензією Apache 2.0, яка дозволяє їх повторне використання та модифікацію. Однак доступ до них обмежений для юридичних осіб, що базуються в ЄС. EU Institutional LLM вже використовується в eSummary — багатомовній службі Комісії для узагальнення документів, а майбутні ітерації будуть інтегровані в інші її інструменти на основі ШІ. Європейська Комісія позиціонує EU Institutional LLM як частину своїх зусиль зі зміцнення європейського суверенного ШІ.

Новий бенчмарк EU MMLU

Після випуску моделі DG Translation також анонсував EU MMLU — новий бенчмарк для оцінки LLM у мовах ЄС. DG Translation зазначив, що створення моделі, яка охоплює всі офіційні мови ЄС, є лише частиною завдання, і для вимірювання продуктивності моделі в різних мовах потрібні надійні інструменти.

EU MMLU базується на широко використовуваному бенчмарку Massive Multitask Language Understanding (MMLU), який тестує моделі за допомогою запитань з множинним вибором у різних предметних областях. На відміну від багатьох існуючих багатомовних бенчмарків, створених переважно за допомогою ШІ-перекладу, для EU MMLU професійні перекладачі з DG Translation та студенти мережі European Master’s in Translation перекладали запитання без використання ШІ-перекладу як відправної точки, а потім перевіряли роботу один одного. Координацію робочого процесу здійснювали студенти-менеджери проєктів, а мовні підрозділи DG Translation надавали рекомендації щодо термінології та мовних особливостей.

Перший випуск EU MMLU включає понад 1000 запитань та охоплює 16 офіційних мов ЄС, з планами розширення до решти офіційних мов. Бенчмарк доступний під ліцензією Creative Commons Attribution 4.0 через Hugging Face та European Language Data Space. DG Translation також опублікував набір критеріїв якості для розробки багатомовних бенчмарків, орієнтованих на ЄС, з довгостроковою метою встановлення «стандарту для багатомовної оцінки ШІ в Європі».