Що таке LLM: як влаштовані, навчаються та працюють великі мовні моделі

Велика мовна модель (LLM, Large Language Model) — це статистична модель глибокого навчання, натренована на колосальних масивах текстових даних для розуміння та генерації природної мови й виконання завдань з обробки природної мови (NLP). За своєю суттю LLM працює як масштабна система статистичного прогнозування, яка багаторазово передбачає найбільш імовірне наступне слово або токен у послідовності. Сучасні моделі здатні вловлювати глибокий контекст, логіку викладу та тонкі семантичні зв'язки, що забезпечує людині можливість природно взаємодіяти з комп'ютерними системами.

Від N-грам до нейромереж: еволюція розуміння контексту

Контекстом у мовному моделюванні називають корисну інформацію, яка передує цільовому токену або йде після нього. Саме контекст допомагає моделі розрізняти значення слів у неоднозначних випадках — наприклад, визначати, чи слово «orange» позначає цитрусовий фрукт, чи колір. Здатність зберігати й обробляти довгий контекст формувалася через кілька поколінь технологій:

1. N-грами. Це впорядковані послідовності з $N$ слів. Наприклад, 2-грами (біграми) аналізують пари слів, а 3-грами (триграми) на основі двох попередніх слів намагаються спрогнозувати третє. Головна вада триграм полягає в тому, що двох слів критично мало для розуміння змісту речення. Збільшення $N$ теоретично дає більше контексту, проте спричиняє розрідженість даних: у навчальній вибірці довгі комбінації трапляються рідко, і модель просто не має достатньої кількості прикладів для надійного прогнозування.
2. Рекурентні нейромережі (RNN). Подальший крок уперед, що навчається на послідовностях і здатний поступово засвоювати або відсіювати контекст із кожного слова в реченні, охоплюючи уривки з кількох речень. Проте рекурентні мережі оцінюють інформацію послідовно — токен за токеном. Їхня здатність працювати з довгим контекстом суттєво обмежена проблемою зникаючого градієнта (vanishing gradient problem).
3. Великі мовні моделі. На відміну від RNN, сучасні LLM здатні аналізувати весь контекст одночасно, оцінюючи залежності між усіма елементами тексту без втрати зв'язку на великих відстанях.

Архітектура Transformer та механізм уваги

Технологічним проривом, що започаткував сучасну еру LLM, стала представлена у 2017 році архітектура Transformer (описана у праці «Attention Is All You Need»). Трансформер відмовився від послідовної обробки на користь паралелізації, що дозволило ефективно тренувати моделі на безпрецедентних обсягах інформації.

Центральною інновацією трансформера є механізм внутрішньої уваги (self-attention). Він дозволяє моделі динамічно «звертати увагу» на різні токени в різні моменти часу, точно вираховуючи математичні зв'язки й залежності між словами, навіть якщо вони віддалені одне від одного в межах тексту.

Робота механізму уваги всередині шарів нейромережі складається з кількох кроків:

• Векторні ембединги (embeddings) та позиційне кодування. Текст ділиться на токени, і кожен токен відображається у вигляді числового вектора. До ембедингів додаються позиційні кодування (positional encodings), які передають моделі інформацію про точне місцезнаходження токена в послідовності.
• Вектори запиту, ключа та значення (Query, Key, Value). За допомогою матриць навчених ваг кожен ембединг проєктується у три окремі вектори: Query виражає те, що токен «шукає»; Key містить інформацію про сам токен; Value повертає фактичні змістовні дані, масштабовані відповідно до знайденої ваги уваги.
• Оцінки відповідності (alignment scores). Модель розраховує подібність між векторами Query одного токена та Key інших токенів. Після нормалізації ці показники перетворюються на ваги уваги (attention weights), які регламентують, яка частка вектора Value надходить у фінальне представлення цільового слова.

У результаті проходження крізь численні шари штучних нейронів ембединги збагачуються контекстом. Завдяки цьому слова, пов'язані тематично (наприклад, «гавкіт» і «собака»), зближуються у векторному просторі набагато сильніше, ніж непов'язані поняття.

Окрім класичного трансформера, існують також інші варіанти архітектур: моделі Mamba на базі простору станів (state-space models) із селективними оновленнями, а також дифузійні LLM (Diffusion LLMs), які генерують текст через поетапне усунення шуму з випадкового стану.

Токени та параметри: внутрішній устрій LLM

Два фундаментальні поняття, якими вимірюються розмір і функціонування мовних моделей, — це токени та параметри.

Що таке токени

Токени — це найменші неподільні (атомарні) одиниці мовного моделювання. Токеном може бути окремий символ, ціле слово або підслово (частина слова, що несе семантичне значення). Більшість сучасних систем використовують токенізацію за підсловами. Наприклад:

• слово «cats» ділиться на два підслова: корінь «cat» та суфікс «s»;
• слово «unwatched» розбивається на три елементи: префікс «un», корінь «watch» і суфікс «ed»;
• складні конструкції на зразок «antidisestablishmentarianism» можуть містити шість окремих підслів («anti», «dis», «establish», «ment», «arian», «ism»).

Токенізація прив'язана до конкретної мови: кількість символів на один токен варіюється. Для англійської мови один токен у середньому відповідає приблизно 4 символам або близько 3/4 слова (відповідно, 400 токенів дорівнюють приблизно 300 словам). Сьогодні принцип токенізації застосовують не лише для тексту, але й у комп'ютерному зорі та аудіогенерації.

Що таке параметри

Параметри — це внутрішні конфігураційні змінні моделі машинного навчання, які визначають, як саме нейромережа обробляє дані та здійснює передбачення. Ваги зв'язків між токенами в шарах трансформера є прямим прикладом таких параметрів.

Кількість параметрів демонструє масштаб архітектури. Провідні великі мовні моделі налічують мільярди або навіть трильйони параметрів (зокрема, відома модель GPT-3 містить 175 мільярдів параметрів). Водночас існують малі мовні моделі (small language models), які мають порівняно невелику кількість параметрів, завдяки чому їх можна розгортати на компактних пристроях або в умовах жорстко обмежених обчислювальних ресурсів.

Як навчають великі мовні моделі

Створення функціональної LLM складається з двох основних фаз: базового попереднього навчання (pretraining) та подальшого точного налаштування (fine-tuning).

1. Попереднє навчання (Pretraining)

На етапі претрейнінгу модель обробляє величезні масиви нерозмічених даних — сотні мільярдів чи трильйони слів, зібраних із книг, статей, вебсайтів і вихідного коду програм. Перед завантаженням у мережу інженери проводять очищення даних від помилок, дублікатів та небажаного контенту.

Навчання відбувається за методом самокерованого навчання (self-supervised learning). Моделі не потрібні готові мітки від людей: вона формує завдання самостійно, намагаючись передбачити пропущені або наступні токени в тексті на основі закономірностей у самих даних. Функція втрат (loss function) кількісно фіксує помилку кожного прогнозу, після чого алгоритми зворотного поширення помилки (backpropagation) та градієнтного спуску (gradient descent) ітеративно коригують ваги в шарах мережі. У результаті модель засвоює правила граматики, факти про світ, логіку аргументації та стилістику письма.

2. Тонке налаштування (Fine-tuning)

Базова модель отримує загальні знання про мову, але вона ще не оптимізована для ведення діалогу чи виконання спеціалізованих інструкцій. Для адаптації використовують спеціальні методи:

• Контрольоване донавчання (Supervised fine-tuning). Модель донавчають на порівняно невеликих розмічених датасетах із прикладами якісних відповідей або на вузькогалузевих текстах (медичних, юридичних). Це дає змогу адаптувати загальну модель під класифікацію, підсумовування або роботу служби підтримки без витрат на навчання з нуля.
• Навчання з підкріпленням на основі людського зворотного зв'язку (RLHF). Люди оцінюють і ранжують варіанти відповідей моделі. Потім алгоритм підлаштовує свої ваги так, щоб віддавати перевагу виходам, які отримали вищі оцінки. RLHF застосовують для вирівнювання (alignment) — надання моделі рис безпеки, корисності та відповідності людським цінностям, а також для стилістичної адаптації (наприклад, для формування невимушеного чи корпоративного тону).
• Налаштування за інструкціями (Instruction tuning). Спрямоване на покращення здатності системи чітко слідувати прямим командам користувачів у промптах замість простого продовження фрази.
• Моделі міркування (Reasoning models). Різновид LLM, натренований методом навчання з підкріпленням розбивати комплексні завдання на проміжні логічні кроки (reasoning traces або chain-of-thought) перед видачею остаточної відповіді.