Встановлення Ollama на VDS: запуск локальних LLM

Що таке Ollama?

Ollama — open-source інструмент для локального запуску великих мовних моделей. Він автоматично керує завантаженням моделей, надає REST API, сумісний з OpenAI, і працює на Linux, macOS та Windows.

Системні вимоги

Встановлення Ollama

# Встановлення однією командою
curl -fsSL https://ollama.com/install.sh | sh

# Перевірка статусу
systemctl status ollama
systemctl enable ollama

Завантаження і запуск моделі

# Llama 3.2 (2 GB)
ollama run llama3.2

# Mistral 7B (4.1 GB)
ollama run mistral

# Phi-3 Mini для слабких VDS (1.7 GB)
ollama run phi3:mini

# Список моделей
ollama list

Налаштування API для зовнішнього доступу

# Редагуємо службу
systemctl edit ollama

# Додайте в [Service]:
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

Тест через API

curl http://localhost:11434/api/generate \
  -d '{"model":"llama3.2","prompt":"Привет!","stream":false}'

Часті помилки під час встановлення

«model requires more system memory than is available»

Error: model requires more system memory (5.2 GiB) than is available (3.8 GiB)

Ollama оцінює обсяг памʼяті, потрібний для ваг моделі та контексту, і відмовляється запускати модель заздалегідь, а не падає посеред генерації. Рішення — взяти модель з легшою квантизацією (наприклад, варіант q4_K_M замість q8_0) або модель з меншою кількістю параметрів.

Порт 11434 недоступний ззовні після зміни OLLAMA_HOST

curl: (7) Failed to connect to server.example.com port 11434: Connection refused

Якщо після systemctl edit ollama служба не перечитала конфігурацію, змінна оточення не застосується. Обовʼязково виконайте systemctl daemon-reload і systemctl restart ollama, а також перевірте, що firewall (ufw, iptables) пропускає потрібний порт.

«no such model» одразу після завантаження образу

Error: pull model manifest: file does not exist

Назву моделі вказано з помилкою або тег версії не існує в бібліотеці Ollama. Звіртеся зі списком доступних тегів на сторінці моделі і точно скопіюйте імʼя разом із тегом квантизації.

«could not connect to ollama app, is it running?»

Error: could not connect to ollama app, is it running?

CLI звертається до служби через локальний сокет і не запускає її сам. Помилка типова після перезавантаження сервера, якщо службу не було увімкнено в автозапуск: перевірте стан командою systemctl status ollama і, якщо вона неактивна, виконайте systemctl enable --now ollama.

Порівняння способів запуску локальних LLM

Вибір інструмента залежить від того, що важливіше: швидкість старту, повна сумісність з OpenAI API чи контроль над збіркою під конкретне залізо.

Коли Ollama не підходить

Ollama свідомо жертвує частиною гнучкості заради простоти, і в ряді сценаріїв ця простота починає заважати.

• Потрібна максимальна пропускна здатність за багатьох одночасних користувачів на GPU — для цього спеціалізовані сервери інференсу на кшталт vLLM справляються краще завдяки батчингу запитів
• Потрібне тонке налаштування параметрів квантизації і збірки під конкретне залізо — тоді працюють напряму з llama.cpp
• Завдання повʼязане з генерацією зображень або синтезом мовлення — Ollama працює лише з текстовими і частково мультимодальними LLM
• VDS без запасу RAM навіть під найлегшу модель — тоді розумніше використовувати зовнішній API замість локального інференсу
• Потрібен повний контроль над форматом і метаданими файлу моделі — Ollama приховує ці деталі за своїм форматом Modelfile

Перевірка результату

Після встановлення варто переконатися не лише в тому, що служба запущена, а й у тому, що вона реально відповідає на запити.

1. Переконайтеся, що служба запущена: systemctl status ollama має показувати active (running)
2. Перевірте список завантажених моделей: ollama list
3. Надішліть тестовий запит через API з локальної машини і, якщо відкривали порт назовні, — із зовнішнього хоста
4. Заміряйте час відповіді на короткий промпт, щоб зрозуміти реальну швидкість на цьому VDS
5. Перевірте, чи служба переживає перезавантаження сервера: чи увімкнено автозавантаження через systemctl enable

За темою: зручний чат поверх Ollama — Open WebUI, розрахунок відеопамʼяті під модель — скільки VRAM потрібно моделі, запуск без GPU через квантизацію — llama.cpp і GGUF.