Voydevich

ГайдиНалаштування й робочі процеси

Ollama: як запустити локально мовну модель на комп'ютері

V

Редакція Voydevich.com

7 хв читання

ПоділитисяTelegramFFacebookXXLLinkedInEmail

Ollama дає змогу розгортати та виконувати великі мовні моделі (Large Language Models, LLM) безпосередньо на власному обладнанні без передавання промптів у хмару та без використання сторонніх API-ключів. Платформа самостійно розподіляє обчислення між центральним процесором (CPU) і сумісним графічним прискорювачем (GPU). Після встановлення взаємодія з моделями відбувається як через інтерфейс командного рядка (CLI), так і через локальний HTTP-сервер.

Встановлення на Windows, macOS та Linux

Процес інсталяції адаптований під кожну підтримувану платформу та не вимагає прав адміністратора у стандартному сценарії для Windows.

Windows

  1. Переконайтеся у відповідності системним вимогам: операційна система Windows 10 версії 22H2 або новіша (редакції Home або Pro). Для апаратного прискорення на картах NVIDIA потрібні драйвери версії 551.61 або новіші. Для карт AMD потрібен стек драйверів із підтримкою ROCm v7 / HIP7 або драйвер AMD Radeon із підтримкою Vulkan.
  2. Завантажте інсталятор OllamaSetup.exe.
  3. Запустіть файл. За замовчуванням програма встановлюється у домашній каталог користувача без запиту прав адміністратора, резервуючи щонайменше 4 ГБ дискового простору для бінарних файлів.
  4. Після встановлення фонова служба запускається автоматично, а утиліта стає доступною у командних оболонках cmd та PowerShell. Якщо інсталятор реєструє програму в списку автозапуску, її за потреби можна вимкнути через вкладку Startup apps у Task Manager.

Для вбудовування у сторонні системи або запуску у вигляді системної служби через утиліти на кшталт NSSM доступний автономний архів ollama-windows-amd64.zip. Залежно від заліза до його папки розпаковують додаткові пакети бібліотек: ollama-windows-amd64-rocm.zip для AMD GPU або ollama-windows-amd64-mlx.zip для CUDA.

macOS

  1. Завантажте дистрибутив Ollama для macOS та відкрийте застосунок.
  2. Пройдіть кроки налаштування за підказками майстра.
  3. Програма додається до списку елементів автозапуску. Автозапуск можна вимкнути в системних налаштуваннях у розділі Login Items (пункт Allow in the Background).
  4. Оновлення для macOS і Windows завантажуються автоматично; для їх застосування достатньо натиснути кнопку «Restart to update» у меню панелі завдань.

Linux

  1. Завантажте та запустіть встановлювач відповідно до інструкцій з офіційного сайту.
  2. Запустіть локальний сервер за допомогою команди ollama serve, якщо служба ще не активна у фоновому режимі.
  3. Для оновлення програми на Linux необхідно повторно виконати офіційний скрипт встановлення.

Завантаження та запуск моделі через командний рядок

Взаємодія з моделями здійснюється за допомогою базових команд у терміналі.

  1. Запуск моделі. Щоб завантажити ваги та відразу перейти до діалогу, виконайте команду: 
    ollama run <назва_моделі>
    Якщо файл моделі відсутній на накопичувачі, Ollama спершу збереже його локально, після чого відкриє сесію інтерактивного чату.
  2. Завершення сесії. Для виходу з діалогу введіть команду /bye.
  3. Моніторинг пам'яті. Щоб побачити список моделей, завантажених у пам'ять, відкрийте окремий термінал та виконайте: 
    ollama ps
    Колонка Processor показує фактичний стан розподілу:
    • 100% GPU — модель повністю перебуває у відеопам'яті (VRAM).
    • 100% CPU — обчислення відбуваються лише у системній оперативній пам'яті.
    • Значення на кшталт 48%/52% CPU/GPU — модель частково розміщена у відеопам'яті та частково в RAM.
  4. Вивантаження з пам'яті. За замовчуванням завантажена модель залишається у пам'яті протягом 5 хвилин після останнього запиту. Щоб негайно звільнити ресурси, введіть: 
    ollama stop <назва_моделі>
  5. Попереднє завантаження (Preload). Щоб завантажити ваги в пам'ять без надсилання промпту, виконайте команду: 
    ollama run <назва_моделі> ""

Де зберігаються моделі та як змінити конфігурацію

Великі мовні моделі можуть займати десятки й сотні гігабайтів, тому системні каталоги за потреби переносять на інший накопичувач.

Стандартні шляхи збереження файлів моделей

  • macOS: ~/.ollama/models
  • Linux: /usr/share/ollama/.ollama/models
  • Windows: C:\Users\%username%\.ollama\models

У Windows робочі файли також розподіляються по таких директоріях:

  • %LOCALAPPDATA%\Ollama — логи (app.log, server.log, upgrade.log) та завантажені оновлення;
  • %LOCALAPPDATA%\Programs\Ollama — виконувані файли програми (додаються в користувацький PATH);
  • %HOMEPATH%\.ollama — конфігураційні файли та моделі;
  • %TEMP% — тимчасові каталоги з виконуваними файлами ollama*.

Налаштування змінних оточення

Розташування моделей та параметри сервера регулюються системними змінними:

  • OLLAMA_MODELS — задає альтернативну директорію для завантажених моделей.
  • OLLAMA_HOST — змінює адресу прив'язки сервера (за замовчуванням 127.0.0.1:11434).
  • OLLAMA_CONTEXT_LENGTH — перевизначає розмір контекстного вікна (базове значення — 4096 токенів).
  • OLLAMA_KEEP_ALIVE — визначає час утримання моделі в пам'яті (наприклад, 10m, 24h, -1 для нескінченного утримання або 0 для негайного вивантаження).
  • OLLAMA_MAX_QUEUE — максимальна кількість запитів у черзі до повернення помилки 503 (за замовчуванням 512).
  • OLLAMA_MAX_LOADED_MODELS — кількість моделей, які можуть одночасно розміщуватися у пам'яті (за замовчуванням 3 на кожен GPU або 3 для CPU).
  • OLLAMA_NUM_PARALLEL — кількість паралельних запитів для кожної моделі (за замовчуванням 1).
  • OLLAMA_FLASH_ATTENTION — примусове ввімкнення (1) або вимкнення (0) механізму Flash Attention.
  • OLLAMA_KV_CACHE_TYPE — тип квантування контекстного кешу K/V (f16 за замовчуванням, q8_0 або q4_0).
  • OLLAMA_ORIGINS — перелік дозволених джерел міжсайтових запитів (CORS), включно з розширеннями браузерів (chrome-extension://*, moz-extension://*, safari-web-extension://*).
  • HTTPS_PROXY — адреса проксі-сервера для завантаження моделей з мережі.

Порядок встановлення змінних оточення залежить від ОС:

  • Windows: закрийте Ollama в системному треї. Відкрийте Settings (Windows 11) або Control Panel (Windows 10), перейдіть до розділу редагування змінних середовища для вашого облікового запису, створіть потрібну змінну (наприклад, OLLAMA_MODELS), збережіть та знову запустіть Ollama з меню «Пуск».
  • macOS: оскільки програма запускається через інтерфейс операційної системи, змінні встановлюються через термінал командою launchctl setenv <НАЗВА_ЗМІННОЇ> <ЗНАЧЕННЯ>, після чого застосунок перезапускають.
  • Linux: якщо Ollama працює як служба systemd, виконайте команду systemctl edit ollama.service, у секції [Service] додайте рядок Environment="НАЗВА_ЗМІННОЇ=значення", збережіть зміни, оновіть конфігурацію systemctl daemon-reload і перезапустіть службу systemctl restart ollama.

Порівняння базових URL-адрес для API

Ollama надає локальний HTTP-сервер, а також забезпечує доступ до хмарного середовища за єдиними стандартами маршрутизації.

Інтерфейс APIЛокальний сервер OllamaПрямий хмарний доступПотреба в API-ключах
Власний API Ollamahttp://localhost:11434/apihttps://ollama.com/apiЛише для хмарного доступу
OpenAI compatibilityhttp://localhost:11434/v1https://ollama.com/v1Локальний сервер ігнорує значення
Клієнт Anthropichttp://localhost:11434https://ollama.comДодає шлях /v1/messages

Робота з локальним API та сумісність з OpenAI

Локальний сервер Ollama запускається за адресою http://localhost:11434 і не потребує авторизації для обробки запитів.

Робота через OpenAI SDK

Ollama підтримує підмножину специфікації OpenAI API, що дає змогу використовувати офіційні клієнти (наприклад, бібліотеку openai у Python).

  1. Вкажіть базову адресу локального сервера: http://localhost:11434/v1.
  2. Клієнт вимагає передавання будь-якого непустого рядка як API-ключа, проте локальний сервер Ollama ігнорує це значення.
  3. Серед підтримуваних ендпоінтів:
    • /v1/chat/completions — підтримує стрімінг, режим JSON, структуровані виклики інструментів (Tools), візуальні моделі (Vision), відтворюваність виводу та керування міркуванням через параметри reasoning_effort або reasoning.effort.
    • /v1/completions — завершення тексту для рядкових промптів.
    • /v1/embeddings — генерація векторних представлень (ембедінгів).
    • /v1/models та /v1/models/{model} — перегляд списку моделей.
    • /v1/responses — реалізація OpenAI Responses API без збереження стану (stateful-запити, previous_response_id та conversation не підтримуються).
    • /v1/audio/speech, /v1/audio/transcriptions, /v1/audio/translations — синтез, транскрипція та переклад аудіо для відповідних моделей.

Сумісність імен і контексту

  • Псевдоніми моделей: якщо зовнішній інструмент очікує фіксовані назви штибу gpt-3.5-turbo, скопіюйте завантажену модель у нове ім'я командою: 
    ollama cp <наявна_модель> gpt-3.5-turbo
  • Зміна розміру контексту для OpenAI API: оскільки специфікація OpenAI не містить прямого параметра розміру контексту, створіть файл із назвою Modelfile, вкажіть директиву PARAMETER num_ctx <розмір> і збережіть нову модель командою: 
    ollama create <нове_ім'я>

Інтеграція з десктопними застосунками та інструментами розробки

Локальні моделі Ollama можна підключати до зовнішніх інтерфейсів без програмування:

  • Claude Desktop та ChatGPT Desktop: на macOS у вікні Ollama доступний розділ Apps, звідки можна з'єднати підтримувані десктопні клієнти. У ChatGPT Desktop моделі Ollama використовуються в режимі Codex, тоді як стандартний чат і голосові функції працюють через звичне підключення ChatGPT.
  • Агенти для кодингу: з каталогу робочого проєкту можна викликати сумісні консольні інструменти розробника, такі як Claude Code, Codex CLI чи OpenCode. Якщо ці агенти не встановлені, Ollama пропонує інсталювати Claude Code або OpenCode автоматично.
  • Visual Studio Code: для роботи з моделями в інтерфейсі VS Code Chat встановлюється офіційне розширення Ollama.

Часті питання

Де Ollama зберігає завантажені моделі?

Шлях за замовчуванням залежить від операційної системи: у macOS це ~/.ollama/models, у Linux — /usr/share/ollama/.ollama/models, а у Windows — C:\Users\%username%\.ollama\models. Щоб обрати інший каталог, призначте потрібний шлях у змінній оточення OLLAMA_MODELS.

Як перевірити, чи модель завантажилася у GPU?

Виконайте у терміналі команду ollama ps, яка показує список активних моделей у пам'яті. У колонці Processor відображається статус обчислень: 100% GPU, 100% CPU або частковий розподіл відсотків між оперативною пам'яттю та відеокартою.

Чи передає локальна версія Ollama дані на сторонні сервери?

Під час локального запуску дані залишаються на комп'ютері, а запити та відповіді не переглядаються сервісом. Хмарні функції можна повністю деактивувати за допомогою параметра disable_ollama_cloud у файлі server.json або через відповідну змінну оточення.

Як звільнити пам'ять і вивантажити модель з Ollama?

Ollama автоматично утримує модель у пам'яті протягом 5 хвилин після останнього звернення. Щоб вивантажити її негайно, застосуйте команду ollama stop із назвою моделі або надішліть запит до API з параметром keep_alive зі значенням 0.

Офіційні джерела · перевірено 9 листопада 2026

Останні новини на тему

Концептуальна ілюстрація співпраці людини та ШІ у розробці наукового програмного забезпечення
Штучний інтелектJonathan Kemper

AI-агенти модернізують наукове ПЗ, але вимагають людського контролю

Концептуальне зображення, що символізує перехід від оплати за місце до гібридної моделі з AI-кредитами в корпоративному програмному забезпеченні.
Штучний інтелектDana Ellison

Monday.com змінює модель ціноутворення: гібридний підхід з AI-кредитами замість оплати за місце

Інші гайди