Руководства

Нейросеть на своём VPS: можно ли запустить LLM без видеокарты

Нейросеть на своём VPS: можно ли запустить LLM без видеокарты

Своя нейросеть на сервере — уже не экзотика. Открытые языковые модели (семейства Qwen, Llama, Gemma, Mistral, DeepSeek и другие) можно скачать и запустить у себя, а программа Ollama делает это одной командой. Зачем: данные не уходят во внешний сервис, нет оплаты за каждый запрос, а для российских проектов это ещё и способ работать с ИИ, когда API OpenAI и Google Gemini с российских IP недоступны. Главный вопрос — потянет ли обычный VPS без видеокарты. Ниже — честный ответ: какие модели реально работают на процессоре, сколько нужно памяти, как установить Ollama с веб-интерфейсом и для каких задач это имеет смысл.

Можно ли без видеокарты

Можно, с оговорками. Видеокарта ускоряет работу модели в разы, но небольшие модели работают и на процессоре. У нашего провайдера нет VPS с видеокартами, поэтому всё ниже — про работу на CPU.

Что важно понимать:

  • Скорость генерации ограничена пропускной способностью памяти, а не только мощностью процессора. Процессор с быстрой памятью DDR5 выдаёт ответ заметно быстрее, чем больше ядер с медленной памятью.
  • Модель целиком загружается в оперативную память. Не хватает памяти — модель не запустится или будет работать мучительно медленно через своп.
  • Размер модели определяет всё. Маленькие модели на 1–4 миллиарда параметров (1B–4B) на процессоре отвечают бодро. Модели на 7–8B — медленнее, но приемлемо для фоновых задач. Модели на 27–32B на процессоре работают, но для диалога в реальном времени слишком медленные.

Сколько нужно памяти

Ориентиры для моделей в стандартном сжатом формате (квантизация Q4, как скачивает Ollama по умолчанию):

Размер моделиФайл моделиПамять сервераТарифКак работает на CPU
1B–4B1–3 ГБ8 ГБPremiumБодро; подходит для диалога
7B–8B4–5 ГБ16 ГБEliteОтвет идёт заметно медленнее; хорошо для фоновых задач
13B–14B9–10 ГБ16 ГБ впритык, лучше 32 ГБElite или ExclusiveОщутимое ожидание
27B–32B17–20 ГБ32 ГБExclusiveТолько для задач, где можно ждать

К размеру файла добавьте пару гигабайт на работу программы и ещё — на длинный контекст (если модели передаётся большой документ). Скорость на вашем сервере проверяйте сами: команда ollama run модель --verbose после ответа показывает eval rate — сколько токенов в секунду выдаёт модель. Один токен — примерно часть слова, для русского текста обычно меньше слова.

Какой сервер выбрать

ВариантПроцессор и памятьКогда
HI-CPU (Финляндия, Нидерланды, Германия, США)AMD Ryzen 9 до 5.7 GHz, DDR5Лучший выбор для моделей на CPU: быстрая память и высокая частота
Обычный VPS в ФинляндииXeon Gold 6154 3.0 GHzНебольшие модели, фоновые задачи
VPS в РоссииXeon E5 2.6 GHzКогда модель обрабатывает персональные данные россиян и данные должны оставаться в России (152-ФЗ)

Важный плюс своей модели для российских проектов: она не обращается к зарубежным API, поэтому работает и на российском сервере, а текст обращений клиентов никуда не передаётся.

Установка Ollama

Команды для Ubuntu 24.04 или Debian 13:

curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen3:4b
ollama run qwen3:4b --verbose

Установщик ставит Ollama как службу systemd. Последняя команда открывает диалог с моделью прямо в консоли — так удобно проверить скорость. Список доступных моделей и их размеров — в библиотеке на сайте ollama.com. Перед использованием в бизнесе проверьте лицензию выбранной модели: у разных семейств разные условия.

По умолчанию Ollama слушает только 127.0.0.1:11434 — снаружи сервер к ней не подключится, и это правильно: у API Ollama нет собственной авторизации. Не меняйте адрес на 0.0.0.0 без защиты.

Запрос из своего приложения

У Ollama есть API, совместимый с форматом OpenAI, поэтому многие библиотеки и программы подключаются к нему заменой адреса:

curl http://127.0.0.1:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"qwen3:4b","messages":[{"role":"user","content":"Определи тему обращения: «Не пришёл чек после оплаты»"}]}'

Так модель подключается к боту, CRM или сценариям автоматизации. Например, в n8n можно использовать Ollama как модель для ИИ-шагов — о самом n8n в статье «n8n на VPS».

Веб-интерфейс: Open WebUI

Чтобы пользоваться моделью как чатом в браузере, поставьте Open WebUI (нужен Docker — «Docker на VPS»):

docker run -d --network=host \
  -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
  -v open-webui:/app/backend/data \
  --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:main

Интерфейс поднимется на порту 8080. Не открывайте этот порт наружу: закройте его файрволом и опубликуйте интерфейс через Nginx с HTTPS («SSL на VPS»). Первая зарегистрированная учётная запись становится администратором — создайте её сразу после запуска, а регистрацию новых пользователей отключите в настройках.

Для каких задач это имеет смысл

Хорошо подходит — задачи, где ответ короткий или его можно подождать:

  • классификация обращений и писем по темам и срочности;
  • извлечение данных из текста: имя, телефон, номер заказа из свободного сообщения;
  • краткое содержание документов и переписки;
  • черновики ответов клиентам, которые затем проверяет человек;
  • поиск ответов по своей небольшой базе знаний;
  • обработка в фоне: ночная разметка, перевод описаний товаров.

Подходит плохо:

  • много одновременных пользователей — каждый запрос занимает процессор, и очередь быстро растёт;
  • длинные тексты высокого качества и сложные рассуждения — маленькие модели заметно уступают крупным облачным;
  • генерация изображений и видео — без видеокарты непрактично.

Начинайте с маленькой модели и проверьте качество на своих реальных примерах: для многих прикладных задач модели на 3–4B хватает, а работает она в разы быстрее восьмимиллиардной.

Нагрузка и соседство с другими сервисами

Во время ответа модель загружает все доступные ядра. Если на том же сервере работает сайт, он будет тормозить, пока модель думает. Для рабочей нагрузки держите модель на отдельном сервере и обращайтесь к ней по API из основного (через закрытую сеть или VPN, а не открытый порт). Модель после ответа какое-то время остаётся в памяти — это ускоряет следующий запрос, но память занята; время выгрузки настраивается переменной OLLAMA_KEEP_ALIVE.

HI-CPU Premium: 8 ГБ DDR5 — $45/мес   HI-CPU Elite: 16 ГБ DDR5 — $65/мес   Elite в России: 16 ГБ — $60/мес

Цены указаны на момент публикации, оплата у провайдера. HI-CPU Premium — 4 vCPU и 8 ГБ DDR5 для моделей до 4B; Elite — 6 vCPU и 16 ГБ для моделей 7–8B. Если не уверены, что модель подойдёт под вашу задачу, проверьте её сначала на своём компьютере — Ollama работает и на Windows и macOS.

Коротко

  • Без видеокарты работают модели до 7–8B; для диалога комфортнее модели на 1–4B.
  • Памяти нужно с запасом: 8 ГБ для маленьких моделей, 16 ГБ для 7–8B, 32 ГБ для 27–32B.
  • Скорость определяет память: HI-CPU с DDR5 — лучший вариант для CPU.
  • Своя модель не зависит от зарубежных API и может работать на сервере в России — данные остаются у вас.
  • Ollama ставится одной командой; API не открывайте наружу, веб-интерфейс — только через HTTPS.
  • Лучшие задачи — классификация, извлечение данных, краткие изложения и фоновая обработка.