4 октября 2026 г. · Анатолий Крылов, редактор Тераферма

Российские LLM локально: T-Pro, Vikhr, GigaChat, YandexGPT

Запустить российскую LLM локально можно уже сегодня: открытые веса есть у T-Lite и T-Pro от Т-Банка, YandexGPT-5-Lite-8B от Яндекса, GigaChat-20B-A3B от Сбера и у семейства Vikhr. LLM на 7–12B параметров работают на одной карте с 24 ГБ, например RTX 3090 за 26 ₽/час, а 32B в 4 битах — на RTX 4090 или RTX A6000.

Мы упоминаем только нейросети с опубликованными весами; закрытые версии, доступные лишь через API разработчика, локально не запустить.

Какие российские LLM доступны с открытыми весами

Ситуация меняется быстро, поэтому перед запуском проверьте страницу проекта на Hugging Face: там актуальные версии, размер и лицензия.

T-Lite и T-Pro (Т-Банк). Т-Банк выкладывает нейросети, дообученные на русскоязычных данных поверх открытого семейства Qwen. T-Lite относится к классу 7–8B, T-Pro — к классу 32B. Вторая версия T-Pro построена на Qwen3 и поддерживает режим рассуждений.

YandexGPT-5-Lite-8B (Яндекс). Яндекс опубликовал веса LLM на 8B параметров в двух вариантах: претрейн и инструктивная версия. Длина контекста достигает 32 тысяч токенов. Это одна из немногих российских моделей, обученных с нуля, а не дообученных поверх чужой базы.

GigaChat (Сбер). Сбер открыл веса GigaChat-20B-A3B — модели архитектуры Mixture of Experts: всего около 20B параметров, из которых на каждый токен активно около 3B. Позже компания опубликовала и линейку GigaChat 3. MoE-модели быстро генерируют текст, но в память нужно загрузить все параметры, а не только активные.

Vikhr. Открытый исследовательский проект, который дообучает открытые нейросети под русский язык. Наиболее известна Vikhr-Nemo-12B-Instruct на базе Mistral Nemo; есть и компактные версии на 1–3B.

Saiga. Серия русскоязычных дообучений популярных открытых LLM от Ильи Гусева. Удобна, когда нужна русская версия конкретной базы, например Mistral Nemo или Llama.

Сколько видеопамяти нужно

Формула для оценки: в 16 битах — около 2 ГБ на миллиард параметров, в 8 битах — около 1 ГБ, в 4 битах — 0,55–0,65 ГБ. Сверху добавьте 2–6 ГБ под контекст и служебные буферы.

Модель	Параметры	FP16/BF16	4 бита	Подходящая карта	Цена, ₽/час
Vikhr 1–3B	1–3B	3–7 ГБ	1–2 ГБ	RTX 3060 12 ГБ	10
T-Lite	~7–8B	~16 ГБ	~5 ГБ	RTX 3090 / RTX 3060 (4 бита)	22 / 10
YandexGPT-5-Lite-8B	8B	~16 ГБ	~5 ГБ	RTX 3090 / RTX 4090	22 / 44
Vikhr-Nemo-12B	12B	~24 ГБ	~8 ГБ	RTX 5090 / RTX 4060 Ti (4 бита)	70 / 15
GigaChat-20B-A3B	~20B (MoE)	~40 ГБ	~12 ГБ	RTX A6000 / RTX 4090 (4 бита)	60 / 44
T-Pro	~32B	~64 ГБ	~20 ГБ	A100 / RTX 4090 (4 бита)	102 / 44

Цифры приблизительные: точный объём зависит от формата квантизации и длины контекста. Подробная методика расчёта описана в статье сколько видеопамяти нужно для LLM.

Обратите внимание на 12B в 16 битах: 24 ГБ под веса займут всю карту на 24 ГБ, на контекст места не останется. В этом случае берите 32 ГБ или используйте 8-битную квантизацию.

Как выбрать модель под задачу

Универсального победителя нет: у каждой свои сильные стороны, и лучшей проверкой будут ваши собственные запросы.

• Чат-бот поддержки, FAQ, классификация обращений. Хватает 7–8B: T-Lite или YandexGPT-5-Lite. Они быстро отвечают и дёшевы в обслуживании.
• RAG по внутренним документам. Важны длинный контекст и аккуратное следование инструкции. Начните с 8–12B, при нехватке качества переходите на 32B.
• Сложные рассуждения, код, аналитика. Здесь выигрывают более крупные варианты вроде T-Pro. В 4 битах она помещается на одну карту с 24 ГБ.
• Генерация текстов на русском. Сравните Vikhr-Nemo и Saiga на своих примерах: разница в стиле бывает заметнее, чем в метриках.

Практичный подход: составьте 20–30 типичных запросов из своей задачи и прогоните их через 2–3 кандидата. На арендованной карте это займёт час и обойдётся в 22–44 ₽.

Есть ещё один практичный приём: комбинировать нейросети. Маленькая на 7–8B быстро классифицирует запрос и отвечает на простые вопросы, а сложные случаи передаются старшей на 32B. Обе можно держать на одной карте с 48 ГБ, например RTX A6000 за 66 ₽/час, и экономить на каждом простом запросе.

Не забывайте о лицензиях. Условия у разработчиков разные: одни можно свободно использовать в продукте, у других есть ограничения. Читайте файл лицензии до интеграции, а не после.

Запуск через Ollama и vLLM

Для теста удобнее всего Ollama или llama.cpp с GGUF-файлами: многие российские LLM уже есть в квантизованном виде на Hugging Face. Для продакшена с параллельными запросами выбирайте vLLM.

Пример запуска YandexGPT-5-Lite-8B-instruct через vLLM на карте с 24 ГБ:

pip install vllm
vllm serve yandex/YandexGPT-5-Lite-8B-instruct \
  --max-model-len 16384 \
  --gpu-memory-utilization 0.9

После запуска модель отвечает по OpenAI-совместимому API на порту 8000. Подключиться можно через SSH-туннель:

ssh -L 8000:localhost:8000 user@адрес-сервера

Для GGUF-версии в Ollama достаточно одной команды вида ollama run hf.co/<автор>/<репозиторий-GGUF>. Точное имя репозитория смотрите на Hugging Face. Пошаговые инструкции есть на страницах запуска Ollama и запуска vLLM.

Если модель использует нестандартную архитектуру, как у некоторых MoE-версий, проверьте в карточке на Hugging Face, какая версия vLLM или transformers нужна. Иногда требуется флаг --trust-remote-code.

Какую квантизацию выбирать для GGUF? Для 7–12B разумный компромисс — Q5_K_M или Q6_K: качество почти не отличается от 16 бит, а память экономится в 2,5–3 раза. Для 32B на карте с 24 ГБ берите Q4_K_M: модель поместится вместе с контекстом на 8–16 тысяч токенов. Более агрессивные варианты вроде Q3 и Q2 заметно ухудшают русскую грамматику, поэтому к ним стоит прибегать, только если иначе модель не помещается совсем.

Как сравнить модели на своих данных

Публичные бенчмарки дают общее представление, но редко отвечают на главный вопрос: справится ли модель именно с вашей задачей. Сравнение стоит устроить самостоятельно, и это проще, чем кажется.

Соберите тестовый набор. Возьмите 30–50 реальных запросов: вопросы клиентов, фрагменты документов, примеры задач. Для каждого запишите, какой ответ считаете правильным или хотя бы приемлемым.

Зафиксируйте условия. Одинаковый системный промпт, одинаковая температура (для сравнения удобно 0,1–0,3), одинаковый лимит длины ответа. Иначе вы сравните настройки, а не модели.

Запустите модели по очереди. На одной карте с 24 ГБ можно последовательно поднять T-Lite, YandexGPT-5-Lite и Vikhr-Nemo в 8 или 4 битах и прогнать по ним один скрипт. Ответы сохраните в таблицу.

Оцените вслепую. Перемешайте ответы и попросите коллегу оценить их, не зная, какая модель что ответила. Так меньше влияния ожиданий.

Посмотрите на скорость и память. Модель, которая отвечает чуть лучше, но в три раза медленнее, может оказаться дороже в продакшене. Записывайте время ответа и пиковое потребление памяти по nvidia-smi.

Обратите внимание на типичные слабые места русскоязычных LLM: склонение имён и названий, работу с числами и датами, соблюдение формата ответа (например, JSON). Именно на таких деталях модели одного размера различаются сильнее всего. Если в задаче много английских терминов или кода, включите в набор и такие примеры: дообучение на русском иногда немного снижает качество на других языках.

Зачем запускать российские модели на арендованной GPU

Своё железо под LLM означает крупную разовую покупку, которая окупается только при постоянной нагрузке. На этапе выбора модели и пилота аренда практичнее.

Тест нескольких моделей за вечер. За 3–4 часа на RTX 4090 можно сравнить T-Lite, YandexGPT и Vikhr на своих данных, и обойдётся это в 130–180 ₽.

Данные остаются у вас. Модель работает на выделенном сервере, запросы не уходят в сторонний API. Для внутренних документов это часто решающий аргумент.

Масштаб под задачу. Начали с 8B на RTX 3090, поняли, что нужно качество 32B, — переключились на карту побольше без покупки нового железа.

Оплата в рублях и поминутно. Платите только за время, когда сервер включён. Остановили — списания прекратились.

Для ориентира: сколько стоит месяц обслуживания нейросети при разных режимах:

Сценарий	Карта	Режим	Стоимость в месяц
Внутренний бот на 8B	RTX 3090	10 часов в рабочие дни	~4 840 ₽
RAG-сервис на 12B	RTX 5090	10 часов в рабочие дни	~15 400 ₽
Сервис на T-Pro в 4 битах	RTX 4090	круглосуточно	~31 680 ₽

Если нагрузка только в рабочее время, выключайте сервер на ночь и выходные: это сокращает счёт в 3–4 раза по сравнению с круглосуточной работой.

С чего начать

Порядок действий для первого запуска:

1. Определите размер модели по задаче: 7–8B для простых сценариев, 12–32B для сложных.
2. Подберите карту по таблице выше. Для большинства вариантов до 12B подойдёт любая карта из раздела GPU с 24 ГБ видеопамяти.
3. Арендуйте сервер, установите vLLM или Ollama и скачайте модель.
4. Прогоните свои тестовые запросы и сравните ответы.

Через час у вас будет понятная картина: какая российская модель справляется с вашей задачей и сколько стоит её обслуживание в месяц.