Развернуть языковую модель на своём сервере — это поставить движок Ollama одной командой, скачать файл с весами модели и запустить её локально: на всё уходит 15–20 минут. Сложность не в софте, а в памяти: модель на 7 миллиардов параметров в 4-битной квантизации требует около 6 ГБ видеопамяти и терпимо работает даже без видеокарты, а версия на 70 миллиардов параметров попросит уже 40 ГБ и отдельного сервера под LLM с ускорителем.
Материал для тех, кто хочет свой чат-бот, локальную обработку текстов или ассистента внутри компании и не готов отдавать данные наружу. Разбираем, какие модели реально крутятся на процессоре, где начинается обязательная видеокарта, сколько стоит подходящая конфигурация и как поставить Ollama на Ubuntu командами, которые можно скопировать без правок.
Что происходит, когда модель работает на вашем сервере
Языковая модель — это файл с числовыми коэффициентами (весами), которых у модели на 7 миллиардов параметров ровно 7 миллиардов штук. Движок вроде Ollama загружает этот файл в память и прогоняет через него ваш текст, шаг за шагом предсказывая следующий кусочек ответа. Никакого обращения к внешним серверам при этом не происходит: запрос, ответ и промежуточные вычисления остаются на вашей машине.
Отсюда два следствия. Первое приятное: переписка не уходит третьей стороне, лимитов на количество запросов нет, а стоимость фиксирована — вы платите за аренду сервера, а не за каждую тысячу обработанных слов. Второе неприятное: скорость ответа целиком зависит от вашего железа, и слабая конфигурация превращает диалог в переписку с задержкой в минуту.
Главный ресурс здесь — не диск и не канал, а память, в которую модель должна поместиться целиком. Если весов на 6 ГБ, а свободной видеопамяти 4 ГБ, модель либо не стартует, либо частично переедет в обычную оперативную память и замедлится в несколько раз. Поэтому выбор сервера начинается с арифметики по памяти, а всё остальное — вторично.
Четыре термина, без которых дальнейшие цифры не читаются
Токен — минимальный кусочек текста, которым оперирует модель. Это не буква и не слово: в русском тексте один токен занимает ориентировочно 2–4 символа, так что абзац из 100 слов — это примерно 200–300 токенов. Скорость генерации меряют в токенах в секунду, и 10 токенов в секунду читаются глазом примерно как темп неспешного набора текста человеком.
Контекстное окно — сколько токенов модель держит в поле зрения одновременно: ваш вопрос, историю диалога и уже написанную часть ответа. Типичные значения у небольших моделей — от 4096 до 32 768 токенов. Окно тоже занимает память, и чем оно больше, тем больше видеопамяти уходит сверх самих весов, поэтому раздутый контекст на слабом сервере — частая причина падения.
Квантизация — сжатие весов: вместо 16 бит на число используют 8 или 4 бита. Модель на 7 миллиардов параметров в исходном виде занимает около 14 ГБ, а в 4-битной квантизации — примерно 6 ГБ, то есть влезает туда, где раньше не помещалась. Платой становится небольшая потеря точности, которая на бытовых задачах вроде пересказа или ответов по инструкции почти незаметна.
VRAM — видеопамять на самой карте, отдельная от оперативной памяти сервера. Именно её объём определяет, какая модель у вас запустится, и именно на ней экономят провайдеры в стартовых тарифах. Число ядер процессора для GPU-сценария вторично: карта считает, процессор только подаёт данные.
Сколько памяти занимает модель: ориентиры по 7B, 13B и 70B
Буква B в названии модели означает миллиарды параметров: 7B — семь миллиардов, 70B — семьдесят. Ниже — рабочие ориентиры для 4-битной квантизации, то есть самого ходового варианта для домашнего и небольшого корпоративного запуска. К значениям из таблицы всегда добавляйте запас 1–2 ГБ на контекстное окно и служебные буферы.
| Размер модели | VRAM при 4-битной квантизации | Запуск на процессоре | Типичное применение |
|---|---|---|---|
| 7B | около 6 ГБ | реально при 16 ГБ ОЗУ | чат-бот, пересказ, черновики писем |
| 13B | около 10 ГБ | крайне медленно, на практике не используют | более связные тексты, работа с кодом |
| 70B | около 40 ГБ | невозможно | сложные рассуждения, длинные документы |
Файл модели на диске занимает примерно столько же, сколько она просит в памяти: ориентировочно 4–5 ГБ для 7B и 35–40 ГБ для 70B. Плюс место под вторую-третью модель для сравнения, поэтому 20 ГБ диска на сервере под LLM не хватит почти никогда — берите от 50 ГБ, а лучше NVMe-диск: он ускоряет первую загрузку весов в память.
Что реально запускается на процессоре без видеокарты
Без карты работают модели до 7B включительно при 16 ГБ оперативной памяти — это проверяемый нижний порог. Модель полностью помещается в ОЗУ, считает сам процессор, и всё честно работает, просто медленно. Разница в скорости принципиальная: на процессоре вы получаете единицы токенов в секунду, на видеокарте — десятки.
Практический смысл этой разницы такой. Ответ на 300 токенов при 3 токенах в секунду пишется около 100 секунд, при 30 токенах в секунду — около 10 секунд. Для живого чата с клиентом первый вариант неприемлем, а для ночной пакетной обработки — например, разметить 500 отзывов или составить описания товаров — вполне рабочий: машине всё равно, спешить некуда.
Есть ещё промежуточный сценарий: модели на 1–3 миллиарда параметров. Они занимают ориентировочно 2–3 ГБ и на обычном VPS с 4 ядрами и 8 ГБ ОЗУ выдают заметно больше токенов в секунду, чем 7B. Качество ответов ниже, но для классификации писем, извлечения полей из текста или простых шаблонных ответов этого хватает.
Вывод простой: если сценарий терпит ожидание — начинайте с процессорной конфигурации, она в разы дешевле. Если нужен отклик за секунды и параллельные пользователи — сразу смотрите VPS с видеокартой, промежуточные попытки только съедят время.
Какая конфигурация нужна под каждый сценарий
Сведём требования в таблицу, чтобы не считать каждый раз заново. Цифры даны с запасом на операционную систему: Ubuntu с базовым набором служб съедает ориентировочно 1–1,5 ГБ ОЗУ, и об этом забывают чаще всего.
| Сценарий | Ядер | ОЗУ | Диск | Видеокарта |
|---|---|---|---|---|
| Тесты, модели 1–3B | 4 | 8 ГБ | 40 ГБ NVMe | не нужна |
| 7B на процессоре, пакетные задачи | 8 | 16 ГБ | 60 ГБ NVMe | не нужна |
| 7B в живом чате | 4 | 16 ГБ | 60 ГБ NVMe | от 8 ГБ VRAM |
| 13B в живом чате | 8 | 32 ГБ | 100 ГБ NVMe | от 12 ГБ VRAM |
| 70B | 16 | 64 ГБ | 200 ГБ NVMe | от 48 ГБ VRAM |
Теперь про деньги. В разделе GPU-серверов каталога стартовые тарифы начинаются от 200 ₽ в месяц у Selectel, от 330 ₽ у Beget и от 477 ₽ у Timeweb Cloud. Это именно точка входа в раздел: конфигурация с реальной картой на борту стоит кратно дороже, а стартовый тариф подойдёт для процессорного запуска модели на 3B и знакомства с Ollama.
| Провайдер | Стартовый тариф раздела | Рейтинг в каталоге | Тарифов в каталоге |
|---|---|---|---|
| Selectel | от 200 ₽ / мес | 4,5 | 69 |
| Beget | от 330 ₽ / мес | 4,5 | 7 |
| Timeweb Cloud | от 477 ₽ / мес | 4,5 | 4 |
Данные проверены 02.09.2026.
Если карта нужна на два-три дня под конкретный эксперимент, ищите тарифы с почасовым списанием: платить месяц за трёхдневный тест невыгодно. Общий обзор задач и конфигураций собран в разделе серверов для ИИ.
Установка Ollama на Ubuntu 24.04: пошагово
Дальше — команды для чистого сервера с Ubuntu 24.04. Все они выполняются от пользователя с правами sudo после подключения по SSH. Если сервер только что создан и вы ещё не настраивали доступ и обновления, сначала пройдите базовую подготовку по инструкции о том, как настроить VPS с нуля.
- Обновите списки пакетов и сами пакеты, чтобы установщик не споткнулся о старые библиотеки.
- Проверьте, что железа хватает: сколько ядер, сколько свободной памяти и сколько места на диске.
- Установите Ollama официальным скриптом — он сам определит систему и настроит службу.
- Убедитесь, что служба запустилась и стартует автоматически после перезагрузки.
- Скачайте первую модель и запустите её.
Первый шаг — обновление системы. Команда apt update обновляет списки доступных пакетов, apt upgrade ставит новые версии уже установленных, а флаг -y отвечает «да» на все вопросы:
sudo apt update && sudo apt upgrade -yДальше смотрим на ресурсы. Команда nproc печатает число доступных ядер, free -h показывает оперативную память в удобных единицах, df -h / — свободное место на системном диске:
nproc
free -h
df -h /Если в строке «available» у free -h меньше 6 ГБ, модель на 7B не запустится — берите вариант поменьше или тариф побольше. Теперь ставим сам движок. Скрипт скачивает бинарный файл, создаёт системного пользователя и регистрирует службу systemd:
curl -fsSL https://ollama.com/install.sh | shПроверяем, что служба поднялась. Команда systemctl status покажет строку «active (running)», а systemctl enable закрепит автозапуск после перезагрузки сервера:
systemctl status ollama
sudo systemctl enable ollamaОсталось скачать модель. Команда pull загружает веса в каталог /usr/share/ollama/.ollama/models — на файл размером около 4 ГБ при канале 100 Мбит/с уходит 5–7 минут:
ollama pull mistral:7b
ollama listПервый запуск модели и проверка скорости
Запуск в интерактивном режиме делается одной командой. Флаг --verbose после каждого ответа печатает статистику: сколько токенов сгенерировано и с какой скоростью — это и есть ваш замер производительности:
ollama run mistral:7b --verboseЗадайте любой вопрос и посмотрите на строку eval rate — она показывает токены в секунду. На процессорной конфигурации с 8 ядрами ждите единиц токенов в секунду, на сервере с картой — десятки. Выход из диалога — команда /bye или сочетание Ctrl+D.
Проверить, куда именно загрузилась модель, помогает команда ollama ps: в колонке PROCESSOR она пишет «100% GPU», «100% CPU» или пропорцию, если модель поделилась между картой и оперативной памятью. Смешанный режим — худший вариант по скорости, и это сигнал взять модель поменьше или карту побольше.
Если сервер с видеокартой, отдельно убедитесь, что драйвер на месте. Команда nvidia-smi выводит модель карты, объём видеопамяти и текущую загрузку; если она отвечает ошибкой, Ollama молча уйдёт считать на процессор, и вы будете гадать, почему всё так медленно:
nvidia-smi
ollama psКак отдать модель приложению и не открыть её всему интернету
По умолчанию Ollama слушает только адрес 127.0.0.1 на порту 11434, то есть доступна изнутри сервера и больше ниоткуда. Без веской причины её менять не нужно. Проверить работу интерфейса можно тем же curl прямо на сервере — ответ придёт в формате JSON:
curl http://127.0.0.1:11434/api/generate -d '{"model":"mistral:7b","prompt":"Скажи привет","stream":false}'Если приложение живёт на этом же сервере, ничего больше делать не нужно — оно обращается к тому же адресу. Если модель нужна внешнему сервису, не выставляйте порт 11434 наружу: у Ollama нет ни авторизации, ни ограничения частоты запросов, и открытый порт означает, что вашу видеокарту будет греть кто угодно.
Рабочих вариантов два: поставить перед движком nginx с паролем и HTTPS либо ходить на сервер через шифрованное соединение SSH с пробросом порта. В любом случае закройте всё лишнее на брандмауэре — как это делается, подробно разобрано в материале про настройку фаервола на Linux-сервере:
sudo ufw allow OpenSSH
sudo ufw enable
sudo ufw status numberedКогда Ollama не хватает и нужен vLLM
Ollama рассчитана на одного-двух пользователей: запросы она обрабатывает по очереди. Пока с моделью работаете вы и пара коллег, этого достаточно. Как только к ней подключается сайт с сотней посетителей в час, очередь растёт, и время ответа уезжает с 3 секунд до полуминуты.
Для нагрузки используют vLLM — движок, который собирает запросы в пачки и обрабатывает их одновременно, поднимая суммарную пропускную способность в несколько раз на том же железе. Плата за это — требовательность: vLLM ставится в Python-окружении, тоньше настраивается и почти всегда предполагает видеокарту с 16 ГБ VRAM и выше.
Практичный маршрут такой: сначала Ollama на скромном сервере, чтобы понять, какая модель решает вашу задачу и какое качество ответов вас устраивает. И только когда модель выбрана, а нагрузка выросла, переезжайте на vLLM и более дорогую конфигурацию. Обратный порядок обычно заканчивается оплаченным на год сервером, на котором крутится не та модель.
Независимо от движка поставьте наблюдение за загрузкой и памятью — иначе первый же всплеск запросов вы увидите не в графике, а в жалобах пользователей. Как это организовать, описано в руководстве по настройке мониторинга сервера.
Частые ошибки
Почти все проблемы новичков сводятся к пяти сюжетам, и все они стоят денег или нескольких вечеров. Список ниже стоит пробежать глазами до заказа сервера.
- Считать память только по весам модели и забыть 1–2 ГБ на контекстное окно.
- Брать диск на 20 ГБ, а потом не иметь места под вторую модель для сравнения.
- Открыть порт 11434 наружу без пароля и отдать свою карту посторонним.
- Заказать конфигурацию с видеокартой под задачу, которая спокойно ждёт ночь на процессоре.
- Не проверить
nvidia-smiи месяц платить за карту, пока модель считается на процессоре.
Ещё одна ошибка не попадает в список, потому что она про ожидания: люди сравнивают локальную модель на 7B с крупными облачными сервисами и разочаровываются. Модель на 7 миллиардов параметров не пишет диплом и не отлаживает чужой код — она пересказывает, классифицирует, переводит и отвечает по инструкции. В этих рамках она полезна и обходится в стоимость аренды сервера.
Частые вопросы
Можно ли запустить LLM на обычном VPS за 200–300 ₽ в месяц? Модель на 1–3 миллиарда параметров — да, если на тарифе есть хотя бы 4 ГБ ОЗУ, и работать она будет медленно. Для 7B нужны 16 ГБ оперативной памяти, а это уже другой ценовой уровень.
Сколько видеопамяти нужно под модель 13B? Около 10 ГБ при 4-битной квантизации плюс запас 1–2 ГБ на контекст, то есть практический минимум — карта на 12 ГБ. Карта на 8 ГБ заставит модель частично уехать в оперативную память и потерять скорость.
Что быстрее: процессор с 16 ядрами или слабая видеокарта? В большинстве случаев видеокарта, даже недорогая: разница между единицами и десятками токенов в секунду держится именно на архитектуре, а не на числе ядер. Добавление ядер сверх 8 на скорость генерации почти не влияет.
Модель занимает 6 ГБ, а сервер с 8 ГБ ОЗУ — этого хватит? Впритык и ненадёжно: полтора гигабайта заберёт система, остаток съест контекстное окно, и при длинном диалоге процесс убьёт нехватка памяти. Берите 16 ГБ.
Нужен ли интернет серверу после установки? Только для скачивания моделей и обновлений. Сама генерация идёт локально, поэтому широкий канал не требуется — 100 Мбит/с закрывают все задачи с запасом.
Портится ли качество ответов от квантизации? На 4 битах потеря заметна на сложных рассуждениях и почти не видна на пересказе, переводе и ответах по инструкции. Если задача простая, разница между 4-битной и 8-битной версией не окупает удвоения требований к памяти.
Можно ли держать несколько моделей на одном сервере? Да, на диске их может лежать сколько угодно, но одновременно в память загружается обычно одна. Ollama выгружает неиспользуемую модель через несколько минут простоя и подгружает нужную по запросу.
Итог
Запуск языковой модели на своём сервере упирается в одну цифру — объём памяти: 6 ГБ под 7B, 10 ГБ под 13B, 40 ГБ под 70B в 4-битной квантизации. Модели до 7B честно работают на процессоре при 16 ГБ ОЗУ, если вы готовы к единицам токенов в секунду; всё остальное требует видеокарты. Начните с процессорной конфигурации, замерьте скорость командой с флагом --verbose и только потом платите за ускоритель. Подобрать площадку с нужными ядрами, памятью и картой можно в разделе серверов для LLM.
