9 ноября 2026 г. · Анатолий Крылов, редактор Терафермы
Gemma 4, Qwen3.5 и Ministral: лёгкие LLM для одной видеокарты на 16–24 ГБ
Лёгкой LLM для одной видеокарты в 2026 году считается модель на 8–14B параметров для карты на 16 ГБ или на 27–31B для карты на 24 ГБ, обе в 4-битном квантовании. На 16 ГБ комфортно работают Qwen3.5 9B, Ministral 3 8B и 14B, Gemma 4 12B. На 24 ГБ помещаются Qwen3.6 27B, Gemma 4 31B и быстрая MoE-модель Qwen3.6 35B-A3B. Аренда карты на 16 ГБ начинается от 21 ₽/час, RTX 4090 на 24 ГБ — 54 ₽/час.
Чтобы запустить локальную LLM на видеокарте, выберите GPU на странице аренда GPU для LLM, а команды запуска есть в разделе Ollama на арендованной GPU.
Какие модели считать лёгкими
Лёгкая — значит помещается на одну потребительскую видеокарту целиком, вместе с кэшем контекста, без выгрузки слоёв в оперативную память. Как только часть модели уходит в ОЗУ, скорость падает в разы.
Актуальные открытые модели этого класса по данным на октябрь 2026:
- Qwen3.5 (Alibaba, февраль–март 2026): 4B, 9B, 27B и MoE 35B-A3B. Лицензия Apache 2.0.
- Qwen3.6 (апрель 2026): 27B и 35B-A3B, заметно усиленные в программировании и агентных задачах. Apache 2.0.
- Gemma 4 (Google, апрель 2026): E2B, E4B, 12B, MoE 26B и 31B, контекст до 256 тыс. токенов у старших моделей. Лицензия Apache 2.0, в отличие от прошлых поколений Gemma со своими условиями.
- Ministral 3 (Mistral, декабрь 2025): 3B, 8B и 14B, каждая в базовой, instruct- и reasoning-версии, с пониманием картинок. Apache 2.0.
- Mistral Small 3.2 (24B, 2025) — всё ещё хороший вариант на 24 ГБ. Учтите, что новая Mistral Small 4 стала MoE на 119 млрд параметров, к лёгким она уже не относится.
- gpt-oss-20b (OpenAI, 2025), MoE-модель, в родном формате MXFP4 занимает около 13–14 ГБ.
Сколько памяти нужно
Оценка для весов простая:
Память, ГБ ≈ параметры, млрд × 0,6 — для 4-битного квантования (Q4_K_M, AWQ) Память, ГБ ≈ параметры, млрд × 2 — для FP16 и BF16
Сверху нужен кэш контекста (KV-кэш). Для диалога на 8–16 тыс. токенов это 1–4 ГБ, для документов на 100 тыс. токенов и больше нужны уже десятки гигабайт. Точный расчёт для своей модели и контекста можно сделать в VRAM-калькуляторе.
| Модель | Параметры | 4 бита, веса | FP16, веса | Минимальная карта для 4 бит |
|---|---|---|---|---|
| Ministral 3 8B | 8B | ≈ 5 ГБ | ≈ 16 ГБ | 8–12 ГБ |
| Qwen3.5 9B | 9B | ≈ 5,5 ГБ | ≈ 18 ГБ | 8–12 ГБ |
| Gemma 4 12B | 12B | ≈ 7 ГБ | ≈ 24 ГБ | 12 ГБ |
| Ministral 3 14B | 14B | ≈ 8,5 ГБ | ≈ 28 ГБ | 12–16 ГБ |
| gpt-oss-20b | 21B, MoE | ≈ 13 ГБ (MXFP4) | — | 16 ГБ |
| Mistral Small 3.2 | 24B | ≈ 14,5 ГБ | ≈ 48 ГБ | 16 ГБ впритык, лучше 24 ГБ |
| Gemma 4 26B | 26B, MoE | ≈ 16 ГБ | ≈ 52 ГБ | 24 ГБ |
| Qwen3.6 27B | 27B | ≈ 16,5 ГБ | ≈ 54 ГБ | 24 ГБ |
| Gemma 4 31B | 31B | ≈ 18,5 ГБ | ≈ 62 ГБ | 24 ГБ |
| Qwen3.6 35B-A3B | 35B, MoE | ≈ 21 ГБ | ≈ 70 ГБ | 24 ГБ впритык |
Оценки ориентировочные: конкретный файл квантования может весить на 1–2 ГБ больше или меньше. Если модель в таблице помечена «впритык», рассчитывайте на короткий контекст или берите квантование чуть агрессивнее.
Модели 8–14B на карте с 24 ГБ можно запускать в 8 битах или даже в FP16 для 8B: качество чуть выше, чем в 4 битах, особенно в точных задачах вроде извлечения данных и кода.
Какой скорости ждать
Генерация текста упирается в пропускную способность видеопамяти: на каждый новый токен карта читает все веса модели (для MoE — только активные). Отсюда грубая оценка:
Токенов в секунду ≈ пропускная способность, ГБ/с ÷ объём читаемых весов, ГБ × 0,6
Коэффициент 0,6 учитывает, что реальная скорость ниже теоретического потолка.
Пример. RTX 4090 с памятью 1 008 ГБ/с и Qwen3.5 9B в 4 битах (5,5 ГБ): 1 008 ÷ 5,5 × 0,6 ≈ 110 токенов в секунду. Для Qwen3.6 27B (16,5 ГБ): 1 008 ÷ 16,5 × 0,6 ≈ 37 токенов в секунду, всё ещё быстрее, чем человек читает.
MoE-модели выигрывают за счёт того, что читают только активные параметры. У Qwen3.6 35B-A3B это около 3 млрд, то есть меньше 2 ГБ на токен в 4 битах, и генерация идёт быстрее, чем у плотной 9B.
| Карта | Память | Пропускная способность | 9B в 4 битах | 27B в 4 битах | Тариф, ₽/час |
|---|---|---|---|---|---|
| RTX 4060 Ti 16 ГБ | 16 ГБ | 288 ГБ/с | ≈ 30 ток/с | не помещается | 21 |
| RTX 5070 Ti | 16 ГБ | 896 ГБ/с | ≈ 95 ток/с | не помещается | 29 |
| RTX A5000 | 24 ГБ | 768 ГБ/с | ≈ 85 ток/с | ≈ 28 ток/с | 32 |
| RTX 3090 | 24 ГБ | 936 ГБ/с | ≈ 100 ток/с | ≈ 34 ток/с | 34 |
| RTX 4090 | 24 ГБ | 1 008 ГБ/с | ≈ 110 ток/с | ≈ 37 ток/с | 54 |
Это оценка для одного пользователя. Если модель обслуживает несколько запросов одновременно через vLLM или SGLang, суммарная скорость выше в разы, но каждому отдельному пользователю ответ приходит чуть медленнее.
Обратите внимание на RTX 4060 Ti: 16 ГБ памяти по низкой цене, но узкая шина. Для экспериментов и одиночных запросов её хватает, для сервиса с пользователями лучше RTX 5070 Ti или карта на 24 ГБ. Все карты нужного объёма собраны на странице аренда GPU с 16 ГБ видеопамяти.
Как выбрать модель под задачу
| Задача | Карта 16 ГБ | Карта 24 ГБ |
|---|---|---|
| Чат-ассистент на русском | Qwen3.5 9B, Gemma 4 12B | Qwen3.6 27B, Gemma 4 31B |
| Программирование | Qwen3.5 9B | Qwen3.6 27B или 35B-A3B |
| Ответы по документам (RAG) | Ministral 3 14B, Gemma 4 12B | Gemma 4 31B (длинный контекст) |
| Классификация, извлечение полей | Ministral 3 8B, Qwen3.5 9B в 8 битах | то же в FP16 |
| Распознавание картинок и скриншотов | Ministral 3 14B, Gemma 4 12B | Gemma 4 31B |
| Много запросов, важна скорость | gpt-oss-20b | Qwen3.6 35B-A3B |
Несколько практических наблюдений:
- Русский язык. Qwen и Gemma последних поколений пишут по-русски грамотно. Модели Mistral тоже справляются, но перед запуском в работу прогоните 20–30 своих типовых запросов на двух-трёх кандидатах. Подробное сравнение на русских задачах есть в статье Qwen, DeepSeek или Llama для русского языка.
- Режим рассуждений. Qwen3.5/3.6 и reasoning-версии Ministral умеют «думать» перед ответом. Это повышает качество в логике и математике, но тратит в разы больше токенов. Для простых ответов отключайте его.
- Плотная или MoE. Плотная 27–31B обычно чуть умнее MoE того же размера, зато MoE в несколько раз быстрее. Для чата с одним пользователем хватит и плотной, для сервиса с очередью запросов выгоднее MoE.
Как запустить за 10 минут
Самый короткий путь через Ollama: она сама скачивает квантованную модель и поднимает API, совместимый с OpenAI.
curl -fsSL https://ollama.com/install.sh | sh
ollama run qwen3.5:9b
Для сервиса с несколькими пользователями лучше vLLM: он эффективнее распределяет память под контекст и обрабатывает запросы пачками.
pip install vllm
vllm serve Qwen/Qwen3.6-27B-AWQ --max-model-len 16384 --gpu-memory-utilization 0.92
Названия репозиториев и тегов проверяйте на Hugging Face и в библиотеке Ollama: квантованные версии публикуют и сами разработчики, и сообщество. Параметр --max-model-len ограничивает контекст: чем он меньше, тем больше памяти остаётся под одновременные запросы.
Сколько это стоит
Аренда поминутная, поэтому считайте по часам реальной работы:
Стоимость = тариф, ₽/час × часы работы
| Сценарий | Карта | Часы | Стоимость |
|---|---|---|---|
| Сравнить три модели на своих запросах | RTX 4090 | 2 | 108 ₽ |
| Рабочий день с ассистентом | RTX 3090 | 8 | 272 ₽ |
| Пилот сервиса на неделю, 24/7 | RTX 4090 | 168 | 9 072 ₽ |
| Эксперименты с моделью 9B | RTX 4060 Ti 16 ГБ | 4 | 84 ₽ |
Самая частая ошибка: сразу брать дорогую карту. Начните с модели поменьше на карте на 16 ГБ, проверьте качество на своих задачах и переходите на 24 ГБ, только если 9–14B не справляются. Как подобрать карту под другие задачи нейросетей, разобрано в статье какую видеокарту выбрать для нейросети.
Частые ошибки при запуске
Максимальный контекст по умолчанию. Многие модели заявляют контекст 128–256 тыс. токенов, и vLLM пытается зарезервировать под него память. На карте с 24 ГБ это заканчивается ошибкой или почти нулевым числом одновременных запросов. Задавайте --max-model-len под реальные задачи: для чата хватает 8–16 тыс.
Неудачное квантование. Файлы с квантованием ниже 4 бит (Q3, Q2) помещаются на меньшие карты, но качество моделей до 14B в них заметно падает: путаются факты, ломается русская грамматика. Для лёгких моделей 4 бита остаются разумным минимумом, 5–8 бит — если позволяет память.
Сравнение по чужим бенчмаркам. Рейтинги показывают среднюю температуру. Модель, которая лидирует в математике, может хуже следовать формату ответа в вашей задаче. Соберите 20–50 своих запросов с эталонными ответами и прогоните на каждой модели-кандидате: это час работы карты.
Режим рассуждений там, где он не нужен. Для классификации, извлечения полей и коротких ответов «думающий» режим только тратит токены и время. Отключайте его в параметрах запроса или шаблоне чата.
Модель целиком на CPU по ошибке. Если в логах нет строк о загрузке на CUDA, а скорость — 2–5 токенов в секунду, модель, скорее всего, запустилась на процессоре. Проверьте nvidia-smi: под работающей моделью должна быть занята память карты.
На одну видеокарту в 2026 году помещаются модели, которые ещё недавно требовали сервера. На 16 ГБ — Qwen3.5 9B, Gemma 4 12B и Ministral 3 14B в 4 битах, на 24 ГБ — Qwen3.6 27B, Gemma 4 31B и быстрая Qwen3.6 35B-A3B. Выбор между ними сводится к балансу качества, скорости и длины контекста, а проверить его на своих задачах стоит пару часов аренды.
Запустите модель на аренде RTX 4090 и сравните кандидатов на своих запросах за один вечер.