Логотип Терафермы Тераферма Регистрация

9 ноября 2026 г. · Анатолий Крылов, редактор Терафермы

Gemma 4, Qwen3.5 и Ministral: лёгкие LLM для одной видеокарты на 16–24 ГБ

Одна видеокарта и кубы разного размера над ней — лёгкая LLM для одной видеокарты на 16–24 ГБ

Лёгкой LLM для одной видеокарты в 2026 году считается модель на 8–14B параметров для карты на 16 ГБ или на 27–31B для карты на 24 ГБ, обе в 4-битном квантовании. На 16 ГБ комфортно работают Qwen3.5 9B, Ministral 3 8B и 14B, Gemma 4 12B. На 24 ГБ помещаются Qwen3.6 27B, Gemma 4 31B и быстрая MoE-модель Qwen3.6 35B-A3B. Аренда карты на 16 ГБ начинается от 21 ₽/час, RTX 4090 на 24 ГБ — 54 ₽/час.

Чтобы запустить локальную LLM на видеокарте, выберите GPU на странице аренда GPU для LLM, а команды запуска есть в разделе Ollama на арендованной GPU.

Какие модели считать лёгкими

Лёгкая — значит помещается на одну потребительскую видеокарту целиком, вместе с кэшем контекста, без выгрузки слоёв в оперативную память. Как только часть модели уходит в ОЗУ, скорость падает в разы.

Актуальные открытые модели этого класса по данным на октябрь 2026:

  • Qwen3.5 (Alibaba, февраль–март 2026): 4B, 9B, 27B и MoE 35B-A3B. Лицензия Apache 2.0.
  • Qwen3.6 (апрель 2026): 27B и 35B-A3B, заметно усиленные в программировании и агентных задачах. Apache 2.0.
  • Gemma 4 (Google, апрель 2026): E2B, E4B, 12B, MoE 26B и 31B, контекст до 256 тыс. токенов у старших моделей. Лицензия Apache 2.0, в отличие от прошлых поколений Gemma со своими условиями.
  • Ministral 3 (Mistral, декабрь 2025): 3B, 8B и 14B, каждая в базовой, instruct- и reasoning-версии, с пониманием картинок. Apache 2.0.
  • Mistral Small 3.2 (24B, 2025) — всё ещё хороший вариант на 24 ГБ. Учтите, что новая Mistral Small 4 стала MoE на 119 млрд параметров, к лёгким она уже не относится.
  • gpt-oss-20b (OpenAI, 2025), MoE-модель, в родном формате MXFP4 занимает около 13–14 ГБ.

Сколько памяти нужно

Оценка для весов простая:

Память, ГБ ≈ параметры, млрд × 0,6 — для 4-битного квантования (Q4_K_M, AWQ) Память, ГБ ≈ параметры, млрд × 2 — для FP16 и BF16

Сверху нужен кэш контекста (KV-кэш). Для диалога на 8–16 тыс. токенов это 1–4 ГБ, для документов на 100 тыс. токенов и больше нужны уже десятки гигабайт. Точный расчёт для своей модели и контекста можно сделать в VRAM-калькуляторе.

Модель Параметры 4 бита, веса FP16, веса Минимальная карта для 4 бит
Ministral 3 8B 8B ≈ 5 ГБ ≈ 16 ГБ 8–12 ГБ
Qwen3.5 9B 9B ≈ 5,5 ГБ ≈ 18 ГБ 8–12 ГБ
Gemma 4 12B 12B ≈ 7 ГБ ≈ 24 ГБ 12 ГБ
Ministral 3 14B 14B ≈ 8,5 ГБ ≈ 28 ГБ 12–16 ГБ
gpt-oss-20b 21B, MoE ≈ 13 ГБ (MXFP4) — 16 ГБ
Mistral Small 3.2 24B ≈ 14,5 ГБ ≈ 48 ГБ 16 ГБ впритык, лучше 24 ГБ
Gemma 4 26B 26B, MoE ≈ 16 ГБ ≈ 52 ГБ 24 ГБ
Qwen3.6 27B 27B ≈ 16,5 ГБ ≈ 54 ГБ 24 ГБ
Gemma 4 31B 31B ≈ 18,5 ГБ ≈ 62 ГБ 24 ГБ
Qwen3.6 35B-A3B 35B, MoE ≈ 21 ГБ ≈ 70 ГБ 24 ГБ впритык

Оценки ориентировочные: конкретный файл квантования может весить на 1–2 ГБ больше или меньше. Если модель в таблице помечена «впритык», рассчитывайте на короткий контекст или берите квантование чуть агрессивнее.

Модели 8–14B на карте с 24 ГБ можно запускать в 8 битах или даже в FP16 для 8B: качество чуть выше, чем в 4 битах, особенно в точных задачах вроде извлечения данных и кода.

Какой скорости ждать

Генерация текста упирается в пропускную способность видеопамяти: на каждый новый токен карта читает все веса модели (для MoE — только активные). Отсюда грубая оценка:

Токенов в секунду ≈ пропускная способность, ГБ/с ÷ объём читаемых весов, ГБ × 0,6

Коэффициент 0,6 учитывает, что реальная скорость ниже теоретического потолка.

Пример. RTX 4090 с памятью 1 008 ГБ/с и Qwen3.5 9B в 4 битах (5,5 ГБ): 1 008 ÷ 5,5 × 0,6 ≈ 110 токенов в секунду. Для Qwen3.6 27B (16,5 ГБ): 1 008 ÷ 16,5 × 0,6 ≈ 37 токенов в секунду, всё ещё быстрее, чем человек читает.

MoE-модели выигрывают за счёт того, что читают только активные параметры. У Qwen3.6 35B-A3B это около 3 млрд, то есть меньше 2 ГБ на токен в 4 битах, и генерация идёт быстрее, чем у плотной 9B.

Карта Память Пропускная способность 9B в 4 битах 27B в 4 битах Тариф, ₽/час
RTX 4060 Ti 16 ГБ 16 ГБ 288 ГБ/с ≈ 30 ток/с не помещается 21
RTX 5070 Ti 16 ГБ 896 ГБ/с ≈ 95 ток/с не помещается 29
RTX A5000 24 ГБ 768 ГБ/с ≈ 85 ток/с ≈ 28 ток/с 32
RTX 3090 24 ГБ 936 ГБ/с ≈ 100 ток/с ≈ 34 ток/с 34
RTX 4090 24 ГБ 1 008 ГБ/с ≈ 110 ток/с ≈ 37 ток/с 54

Это оценка для одного пользователя. Если модель обслуживает несколько запросов одновременно через vLLM или SGLang, суммарная скорость выше в разы, но каждому отдельному пользователю ответ приходит чуть медленнее.

Обратите внимание на RTX 4060 Ti: 16 ГБ памяти по низкой цене, но узкая шина. Для экспериментов и одиночных запросов её хватает, для сервиса с пользователями лучше RTX 5070 Ti или карта на 24 ГБ. Все карты нужного объёма собраны на странице аренда GPU с 16 ГБ видеопамяти.

Как выбрать модель под задачу

Задача Карта 16 ГБ Карта 24 ГБ
Чат-ассистент на русском Qwen3.5 9B, Gemma 4 12B Qwen3.6 27B, Gemma 4 31B
Программирование Qwen3.5 9B Qwen3.6 27B или 35B-A3B
Ответы по документам (RAG) Ministral 3 14B, Gemma 4 12B Gemma 4 31B (длинный контекст)
Классификация, извлечение полей Ministral 3 8B, Qwen3.5 9B в 8 битах то же в FP16
Распознавание картинок и скриншотов Ministral 3 14B, Gemma 4 12B Gemma 4 31B
Много запросов, важна скорость gpt-oss-20b Qwen3.6 35B-A3B

Несколько практических наблюдений:

  • Русский язык. Qwen и Gemma последних поколений пишут по-русски грамотно. Модели Mistral тоже справляются, но перед запуском в работу прогоните 20–30 своих типовых запросов на двух-трёх кандидатах. Подробное сравнение на русских задачах есть в статье Qwen, DeepSeek или Llama для русского языка.
  • Режим рассуждений. Qwen3.5/3.6 и reasoning-версии Ministral умеют «думать» перед ответом. Это повышает качество в логике и математике, но тратит в разы больше токенов. Для простых ответов отключайте его.
  • Плотная или MoE. Плотная 27–31B обычно чуть умнее MoE того же размера, зато MoE в несколько раз быстрее. Для чата с одним пользователем хватит и плотной, для сервиса с очередью запросов выгоднее MoE.

Как запустить за 10 минут

Самый короткий путь через Ollama: она сама скачивает квантованную модель и поднимает API, совместимый с OpenAI.

curl -fsSL https://ollama.com/install.sh | sh
ollama run qwen3.5:9b

Для сервиса с несколькими пользователями лучше vLLM: он эффективнее распределяет память под контекст и обрабатывает запросы пачками.

pip install vllm
vllm serve Qwen/Qwen3.6-27B-AWQ --max-model-len 16384 --gpu-memory-utilization 0.92

Названия репозиториев и тегов проверяйте на Hugging Face и в библиотеке Ollama: квантованные версии публикуют и сами разработчики, и сообщество. Параметр --max-model-len ограничивает контекст: чем он меньше, тем больше памяти остаётся под одновременные запросы.

Сколько это стоит

Аренда поминутная, поэтому считайте по часам реальной работы:

Стоимость = тариф, ₽/час × часы работы

Сценарий Карта Часы Стоимость
Сравнить три модели на своих запросах RTX 4090 2 108 ₽
Рабочий день с ассистентом RTX 3090 8 272 ₽
Пилот сервиса на неделю, 24/7 RTX 4090 168 9 072 ₽
Эксперименты с моделью 9B RTX 4060 Ti 16 ГБ 4 84 ₽

Самая частая ошибка: сразу брать дорогую карту. Начните с модели поменьше на карте на 16 ГБ, проверьте качество на своих задачах и переходите на 24 ГБ, только если 9–14B не справляются. Как подобрать карту под другие задачи нейросетей, разобрано в статье какую видеокарту выбрать для нейросети.

Частые ошибки при запуске

Максимальный контекст по умолчанию. Многие модели заявляют контекст 128–256 тыс. токенов, и vLLM пытается зарезервировать под него память. На карте с 24 ГБ это заканчивается ошибкой или почти нулевым числом одновременных запросов. Задавайте --max-model-len под реальные задачи: для чата хватает 8–16 тыс.

Неудачное квантование. Файлы с квантованием ниже 4 бит (Q3, Q2) помещаются на меньшие карты, но качество моделей до 14B в них заметно падает: путаются факты, ломается русская грамматика. Для лёгких моделей 4 бита остаются разумным минимумом, 5–8 бит — если позволяет память.

Сравнение по чужим бенчмаркам. Рейтинги показывают среднюю температуру. Модель, которая лидирует в математике, может хуже следовать формату ответа в вашей задаче. Соберите 20–50 своих запросов с эталонными ответами и прогоните на каждой модели-кандидате: это час работы карты.

Режим рассуждений там, где он не нужен. Для классификации, извлечения полей и коротких ответов «думающий» режим только тратит токены и время. Отключайте его в параметрах запроса или шаблоне чата.

Модель целиком на CPU по ошибке. Если в логах нет строк о загрузке на CUDA, а скорость — 2–5 токенов в секунду, модель, скорее всего, запустилась на процессоре. Проверьте nvidia-smi: под работающей моделью должна быть занята память карты.

На одну видеокарту в 2026 году помещаются модели, которые ещё недавно требовали сервера. На 16 ГБ — Qwen3.5 9B, Gemma 4 12B и Ministral 3 14B в 4 битах, на 24 ГБ — Qwen3.6 27B, Gemma 4 31B и быстрая Qwen3.6 35B-A3B. Выбор между ними сводится к балансу качества, скорости и длины контекста, а проверить его на своих задачах стоит пару часов аренды.

Запустите модель на аренде RTX 4090 и сравните кандидатов на своих запросах за один вечер.

Вопросы по теме

Какую LLM можно запустить на одной видеокарте на 16 ГБ?

В 4-битном квантовании — модели до 14B с запасом под контекст: Qwen3.5 9B, Ministral 3 8B и 14B, Gemma 4 12B. Также помещаются gpt-oss-20b и Mistral Small 3.2 24B, но контекст придётся ограничить. Аренда карты на 16 ГБ начинается от 21 ₽/час.

Какая лёгкая LLM лучше всего подходит для карты на 24 ГБ?

Плотные модели на 27–31B в 4 битах: Qwen3.6 27B и Gemma 4 31B. Если важна скорость, а не максимум качества, — MoE-модель Qwen3.6 35B-A3B: на каждый токен она задействует около 3 млрд параметров и генерирует текст в несколько раз быстрее плотной 27B.

Сколько стоит запустить лёгкую LLM на арендованной GPU?

RTX 4060 Ti 16 ГБ стоит 21 ₽/час, RTX 3090 на 24 ГБ — 34 ₽/час, RTX 4090 — 54 ₽/час. Рабочий день в 8 часов на RTX 4090 обходится в 432 ₽, оплата поминутная.

Как понять, поместится ли модель в видеопамять?

Умножьте число параметров в миллиардах на 0,6 ГБ для 4-битного квантования или на 2 ГБ для FP16 и добавьте 15–30% на контекст. Модель 14B в 4 битах — около 8,5 ГБ весов плюс 1–3 ГБ под кэш контекста.

Читайте также

Midjourney или свой Flux на арендованной GPU: что дешевле для 1 000 картинок

1 000 картинок в Midjourney — тариф Standard за $30 в месяц, во Flux на арендованной RTX 4090 — около 5 часов работы карты. Сравниваем цену, качество и контроль.

Нейросеть для поддержки клиентов на своей LLM: разбор обращений и черновики ответов

Своя LLM на одной RTX 4090 разбирает около 3 000 обращений в день: тема, срочность, черновик ответа по базе знаний. Схема, модели и расчёт стоимости на месяц.

Свой код-ассистент вместо Copilot: Qwen Coder на арендованной GPU

Локальный аналог Copilot на Qwen3.6 27B и одной RTX 4090: автодополнение и агент в VS Code через Continue или Cline. Настройка, память под контекст и цена команды.

Генерация 3D-моделей нейросетью: Hunyuan3D и TRELLIS — какая GPU нужна

Hunyuan3D 2.1 просит 29 ГБ видеопамяти на форму с текстурой, TRELLIS.2 — от 24 ГБ. Разбираем, какую GPU арендовать под 3D-генерацию и сколько стоит одна модель.

Подберите GPU

Все видеокарты каталога с поминутной оплатой в рублях.