Що таке токен в LLM: повний гайд для розробників

Токени є найменшими індивідуальними одиницями великої мовної моделі (LLM), які можуть відповідати словам, частинам слів, символам або навіть байтам. Моделі обробляють текст, перетворюючи його на послідовність цих токенів, що є основою їхньої роботи.

Що таке токени та як текст перетворюється на них

Токени — це базові будівельні блоки, які мовні моделі використовують для розуміння та генерації тексту. Коли ви надсилаєте текст до моделі, він спочатку кодується в послідовність токенів для обробки.

Токени представляють часто вживані послідовності символів. Наприклад, рядок « tokenization» може бути розбитий на « token» та «ization», тоді як коротке та поширене слово, як « the», може бути представлене одним токеном. Зазвичай, у реченні перший токен кожного слова починається з пробілу.

Вибір методу токенізації може впливати на продуктивність моделі, розмір її словника та здатність обробляти слова, які не зустрічалися під час навчання. Для англійського тексту приблизно 1 токен дорівнює 4 символам або 0.75 слова. Кількість символів, яку представляє токен, залежить від моделі та мови. Наприклад, моделі Claude 4.7 і пізніші, а також Claude Mythos Preview, використовують новий токенізатор, який генерує приблизно на 30 відсотків більше токенів для того ж тексту, ніж попередні моделі, де токен представляв приблизно 3.5 англійських символів.

Контекстне вікно: робоча пам'ять моделі

Контекстне вікно — це обсяг тексту, на який мовна модель може посилатися під час генерації нової відповіді. Це не великий корпус даних, на якому модель навчалася, а скоріше «робоча пам'ять» для моделі. Більше контекстне вікно дозволяє моделі обробляти та відповідати на складніші та довші запити, тоді як менше контекстне вікно може обмежувати здатність моделі обробляти довгі запити або підтримувати послідовність протягом тривалих розмов.

Усе, що входить до запиту, зараховується до контекстного вікна: системний промпт, кожне повідомлення (включно з результатами інструментів, зображеннями та документами), а також визначення ваших інструментів. Вивід, який генерує модель, включно з її розширеним «мисленням» (thinking), також зараховується.

Зі зростанням кількості токенів точність та здатність до відтворення інформації можуть погіршуватися, що відоме як «контекстна гниль» (context rot). Це робить курування вмісту контексту таким же важливим, як і доступний обсяг.

Розміри контекстного вікна

Розміри контекстного вікна можуть відрізнятися залежно від моделі. Наприклад, Claude Fable 5.1, Claude Mythos 5.1, Claude Fable 5, Claude Mythos 5, Claude Opus 5.5, Claude Opus 5, Claude Opus 4.8, Claude Opus 4.7, Claude Opus 4.6, Claude Sonnet 5.5, Claude Sonnet 5, Claude Sonnet 4.6, Claude Haiku 5.5 та Claude Mythos Preview мають контекстне вікно розміром 1 мільйон токенів. Інші моделі Claude, включно з Claude Sonnet 4.5 (застаріла), мають контекстне вікно розміром 200 тисяч токенів.

Один запит до моделей з контекстним вікном 1 мільйон токенів може генерувати до 128 тисяч вихідних токенів (max_tokens). Також один запит може включати до 600 зображень або сторінок PDF (100 для моделей з контекстним вікном 200 тисяч токенів).

Як токени впливають на ліміти та вартість

Кількість токенів безпосередньо впливає на ліміти використання моделей та їхню вартість.

Ліміти

Кожна мовна модель має максимальну довжину контексту, яка обмежує загальну кількість токенів у промпті та згенерованому виводі. Якщо вхідні дані самі по собі перевищують контекстне вікно моделі, API повертає помилку 400 invalid_request_error ("prompt is too long").

На моделях Claude 4.5 і новіших, якщо кількість вхідних токенів плюс max_tokens перевищує розмір контекстного вікна, запит приймається. Однак, якщо генерація досягає ліміту контекстного вікна, вона зупиняється з причиною stop_reason: "model_context_window_exceeded". На попередніх моделях API повертає помилку валідації.

Вартість

Підрахунок токенів є безкоштовним, але підлягає лімітам запитів на хвилину (RPM) залежно від вашого рівня використання. Вартість використання моделей зазвичай розраховується на основі кількості вхідних та вихідних токенів. Чим більше токенів ви використовуєте, тим вищою буде вартість.

Як порахувати токени

Щоб точно порахувати токени, використовуйте інструменти підрахунку токенів, які відповідають моделі, яку ви плануєте використовувати. Це дозволяє керувати лімітами та витратами, приймати рішення щодо маршрутизації моделі та оптимізувати промпти до цільової довжини.

Інструменти для підрахунку токенів

Для моделей Claude існує спеціальна кінцева точка API для підрахунку токенів. Вона приймає той самий структурований список вхідних даних, що й для створення повідомлення, включаючи підтримку системних промптів, інструментів, зображень та PDF-файлів. Відповідь містить загальну кількість вхідних токенів.

Ця кінцева точка підрахунку токенів дозволяє:

1. Проактивно керувати лімітами та витратами: Ви можете оцінити кількість токенів перед відправкою запиту, щоб уникнути перевищення лімітів або несподіваних витрат.
2. Приймати розумні рішення щодо маршрутизації моделі: Якщо у вас є кілька моделей з різними лімітами контекстного вікна, ви можете вибрати відповідну модель на основі кількості токенів у вашому запиті.
3. Оптимізувати промпти до певної довжини: Це корисно для забезпечення того, щоб ваші запити залишалися в межах контекстного вікна моделі.

Підрахунок токенів здійснюється за допомогою токенізатора тієї моделі, яку ви вказуєте. Щоб виміряти різницю для вашого робочого навантаження, ви можете порахувати один і той же запит двічі: один раз з поточною моделлю та один раз з моделлю, на яку ви плануєте перейти, а потім порівняти два значення input_tokens.

Приклад підрахунку токенів (загальний принцип)

Хоча конкретні назви функцій та команд не надаються, загальний принцип полягає у використанні спеціального API або інструменту, який приймає ваш текст (або структурований запит) і повертає кількість токенів. Наприклад, для OpenAI існує інструмент токенізатора, який дозволяє перевірити конкретні рядки та побачити, як вони перетворюються на токени.

Для Claude, кінцева точка підрахунку токенів підтримує:

• Підрахунок токенів у базових повідомленнях.
• Підрахунок токенів у повідомленнях з інструментами.
• Підрахунок токенів у повідомленнях із зображеннями (зображення та PDF-файли слід надсилати як base64 для підрахунку).
• Підрахунок токенів у повідомленнях з «мисленням» (thinking).
• Підрахунок токенів у повідомленнях з PDF-файлами.