14 октября 2026 г. · Анатолий Крылов, редактор Тераферма
gpt-oss-120b и 20b: на какой видеокарте запускать открытую модель OpenAI
gpt-oss-20b запускается на видеокарте с 16 ГБ памяти, gpt-oss-120b помещается на одну карту с 80 ГБ. Обе модели OpenAI выпустила сразу в 4-битном формате MXFP4, поэтому веса 120b занимают около 61 ГБ вместо 234 ГБ в 16 битах, а 20b — около 13 ГБ. На практике это значит: младшую модель тянет RTX 4090 за 48 ₽ в час, старшую — A100 80 ГБ за 97 ₽ в час.
Что такое gpt-oss и чем две версии отличаются
gpt-oss, открытые модели OpenAI с лицензией Apache 2.0, вышли 5 августа 2025 года. Их можно скачать с Hugging Face, запускать на своём сервере, дообучать и использовать в коммерческих продуктах без отчислений.
Обе модели построены как MoE (mixture of experts): на каждый токен работает лишь небольшая часть параметров. Поэтому они быстрее плотных моделей того же размера, но в памяти всё равно должны лежать все веса целиком.
| Параметр | gpt-oss-20b | gpt-oss-120b |
|---|---|---|
| Всего параметров | 21 млрд | 117 млрд |
| Активных на токен | 3,6 млрд | 5,1 млрд |
| Экспертов в слое / активных | 32 / 4 | 128 / 4 |
| Слоёв | 24 | 36 |
| Контекст | 128 тыс. токенов | 128 тыс. токенов |
| Формат весов экспертов | MXFP4 | MXFP4 |
| Размер весов | ≈ 13 ГБ | ≈ 61 ГБ |
| Уровень по тестам OpenAI | близко к o3-mini | близко к o4-mini |
Обе модели умеют рассуждать: перед ответом они пишут цепочку размышлений. Глубину задают уровнем reasoning effort: low, medium или high. На high ответы точнее, но токенов на каждый запрос уходит в разы больше, а значит, и времени карты.
На какой видеокарте запускать gpt-oss-20b
Веса около 13 ГБ плюс служебная память фреймворка и контекст. Карта на 16 ГБ — минимум, на 24 ГБ — комфорт.
| Видеокарта | Память | Пропускная способность | Как работает 20b | Цена, ₽/час |
|---|---|---|---|---|
| RTX 4060 Ti 16 ГБ | 16 ГБ GDDR6 | 288 ГБ/с | помещается, контекст ограничен, генерация медленная | 21 |
| RTX 5080 | 16 ГБ GDDR7 | 960 ГБ/с | помещается, быстро, контекст ограничен | 72 |
| RTX 3090 | 24 ГБ GDDR6X | 936 ГБ/с | с запасом под контекст | 26 |
| RTX 4090 | 24 ГБ GDDR6X | 1 008 ГБ/с | с запасом, хороший выбор для API | 48 |
| RTX 5090 | 32 ГБ GDDR7 | 1 792 ГБ/с | быстро, много места под параллельные запросы | 83 |
На 16 ГБ модель удобнее запускать через Ollama или llama.cpp: они аккуратнее расходуют память. vLLM резервирует память под кеш заранее, и на 16 ГБ ему тесно. Для сервера на несколько пользователей берите 24 ГБ и больше.
Скорость генерации зависит от пропускной способности памяти: на каждый токен карта читает веса активных экспертов. У RTX 4060 Ti она в 3,5 раза ниже, чем у RTX 4090, и это видно в чате сразу. Подробнее о том, от чего зависит скорость, читайте в статье скорость инференса LLM.
На какой видеокарте запускать gpt-oss-120b
Веса около 61 ГБ, значит, нужна одна карта на 80 ГБ и больше. Карта на 48 ГБ не подходит: модель на ней запустится, только если выгрузить часть экспертов в оперативную память, а это кратно медленнее.
| Видеокарта | Память | FP4 аппаратно | Как работает 120b | Цена, ₽/час |
|---|---|---|---|---|
| L40S / RTX A6000 | 48 ГБ | нет | не помещается без выгрузки в ОЗУ | 97 / 66 |
| A100 80 ГБ | 80 ГБ HBM2e | нет | помещается, ≈ 15 ГБ под контекст | 97 |
| H100 SXM | 80 ГБ HBM3 | нет, есть быстрые ядра MXFP4 | помещается, быстрее A100 | 339–417 |
| RTX PRO 6000 | 96 ГБ GDDR7 | да | помещается, ≈ 30 ГБ под контекст | 185 |
| H200 | 141 ГБ HBM3e | нет | много места под параллельные запросы | 453 |
Пара карт на 48 ГБ (96 ГБ вместе) тоже запустит 120b через тензорный параллелизм в vLLM, но одна карта на 80 ГБ проще в настройке и обычно не дороже. Две RTX 5090 по 32 ГБ дают 64 ГБ, а для весов 61 ГБ плюс служебная память этого мало.
A100 или H100 под gpt-oss-120b
A100 не умеет считать FP4 аппаратно, но vLLM запускает на ней gpt-oss через ядро Marlin: 4-битные веса распаковываются на лету. По объёму памяти A100 80 ГБ и H100 равны, а пропускная способность памяти у H100 в 1,6 раза выше (3 350 против 2 039 ГБ/с).
Логика выбора простая:
- A100 подходит для внутреннего ассистента, RAG и пакетной обработки, где важна цена, а не задержка. Час стоит 97 ₽.
- H100 берут для API с потоком запросов и агентов, где важна скорость ответа. Час стоит 339–417 ₽.
- RTX PRO 6000 пригодится, если нужен длинный контекст на много пользователей: 96 ГБ оставляют вдвое больше места под кеш. Разбор есть в статье RTX PRO 6000 для инференса.
Все карты на 80 ГБ и больше собраны на странице GPU с 80 ГБ видеопамяти.
Сколько памяти уходит на контекст
У gpt-oss экономное внимание: половина слоёв смотрит только на последние 128 токенов (скользящее окно), и кеш им почти не нужен. Полный кеш копят только остальные слои, и у них по 8 KV-голов размером 64.
Расчёт кеша одного токена в 16 битах:
KV на токен = слоёв с полным вниманием × KV-голов × размер головы × 2 (K и V) × 2 байта
| gpt-oss-20b | gpt-oss-120b | |
|---|---|---|
| Слоёв с полным вниманием | 12 из 24 | 18 из 36 |
| KV на токен | 12 × 8 × 64 × 2 × 2 ≈ 24 КБ | 18 × 8 × 64 × 2 × 2 ≈ 36 КБ |
| Полный контекст 128 тыс. токенов | ≈ 3,2 ГБ | ≈ 4,8 ГБ |
Это ориентир без учёта служебной памяти фреймворка, но порядок понятен: один запрос на весь контекст 128 тыс. токенов занимает около 5 ГБ даже у старшей модели. Для сравнения, у Llama 3.3 70B тот же контекст занял бы около 40 ГБ.
Отсюда практический вывод. На A100 80 ГБ после весов 120b и служебной памяти остаётся около 15 ГБ, это примерно три запроса на полный контекст одновременно или десятки коротких диалогов. На RTX 4090 рядом с весами 20b остаётся 8–9 ГБ: на личного ассистента и небольшую команду хватает. Общие правила расчёта памяти собраны в статье сколько видеопамяти нужно для LLM.
Как запустить gpt-oss: Ollama или vLLM
Ollama. Самый быстрый путь для себя и небольшой команды. На арендованной машине:
curl -fsSL https://ollama.com/install.sh | sh
ollama run gpt-oss:20bДля старшей модели — ollama run gpt-oss:120b, загрузка около 65 ГБ. К Ollama можно подключить веб-интерфейс как у ChatGPT, пошагово это описано в статье про Open WebUI и Ollama.
vLLM. Вариант для сервера с API и параллельными запросами. Он поддерживает gpt-oss с версии 0.10 и поднимает OpenAI-совместимый эндпоинт на порту 8000:
pip install vllm
vllm serve openai/gpt-oss-120bПосле этого любой клиент OpenAI работает с вашим сервером, если поменять базовый адрес. Модель отвечает в формате Harmony, но vLLM и Ollama применяют его сами, вручную собирать промпт не нужно.
Глубину рассуждений задают в системном сообщении строкой Reasoning: low, medium или high. Для чата и классификации обычно хватает low: ответ приходит быстрее, а карта обслуживает больше запросов в час.
Сколько стоит запуск в аренде
Цены Тераферма на сегодня. Оплата поминутная: машину можно остановить, когда работа закончена.
| Сценарий | Модель | Карта | Часов | Стоимость, ₽ |
|---|---|---|---|---|
| Попробовать модель, сравнить с другими | 20b | RTX 4090 | 2 | 96 |
| Личный ассистент, рабочий день | 20b | RTX 4090 | 8 | 384 |
| Команда, рабочие дни месяца | 20b | RTX 4090 | 176 | 8 448 |
| Тест старшей модели | 120b | A100 80 ГБ | 2 | 194 |
| Команда, рабочие дни месяца | 120b | A100 80 ГБ | 176 | 17 072 |
| API круглосуточно | 120b | A100 80 ГБ | 720 | 69 840 |
| API круглосуточно, быстрые ответы | 120b | H100 | 720 | 244 080–300 240 |
Формула для своего сценария:
Стоимость = цена часа × часов работы в месяц
Если модель нужна только в рабочее время, 176 часов вместо 720 сокращают счёт в 4 раза. Остальное время машину лучше остановить.
Баланс пополняется криптовалютой (USDT, BTC и другие монеты) от 500 ₽. Оплата картой российского банка и счёт для юрлиц появятся скоро.
Когда gpt-oss подходит, а когда лучше другая модель
Подходит:
- Код, математика, логические задачи. Рассуждающая модель с уровнем high решает их заметно лучше обычных моделей того же размера.
- Агенты и вызов инструментов. Модели обучены вызывать функции и работать с браузером и Python, это удобно для автоматизации.
- Закрытый контур. Данные не уходят во внешний API: модель работает на вашей машине.
- Быстрые ответы на недорогой карте. У 20b всего 3,6 млрд активных параметров — на RTX 4090 она отвечает быстро даже на длинные запросы.
Стоит сравнить с другими:
- Тексты на русском. gpt-oss обучалась в основном на английском. Отвечает по-русски связно, но в стиле и грамматике ей часто уступают модели, в обучении которых русских текстов больше. Сравнение есть в статье какая открытая LLM лучше понимает русский.
- Работа с изображениями. gpt-oss работает только с текстом, картинки на вход она не принимает.
- Простые короткие ответы. Рассуждения тратят токены. Если нужно просто извлечь поле из текста, нерассуждающая модель на 7–14B справится дешевле.
gpt-oss-20b рассчитана на одну недорогую карту: 16 ГБ хватает для запуска, 24 ГБ хватит для комфортной работы. gpt-oss-120b помещается на одну карту с 80 ГБ: A100 — если важна цена, H100 — если важна скорость, RTX PRO 6000 — если нужен длинный контекст на много пользователей. Контекст у обеих моделей дешёвый по памяти, поэтому даже 128 тыс. токенов не требуют второй карты.
Арендуйте H100 для gpt-oss-120b или A100 на пару часов, запустите vllm serve и проверьте модель на своих задачах.