30 октября 2026 г. · Анатолий Крылов, редактор Тераферма
Цена 1 млн токенов на своей GPU: Qwen 32B, Llama 70B и gpt-oss в рублях
Цена 1 млн токенов на своей арендованной GPU колеблется от десятков рублей до нескольких тысяч, и разброс задаёт не модель, а загрузка карты. gpt-oss-120b на H100 при батчинге выдаёт около 3 000 токенов в секунду, и миллион токенов стоит 31–39 ₽. Та же H100 с одним пользователем и скоростью 150 токенов в секунду обходится уже в 628–772 ₽ за миллион. Llama 70B в 4 битах на одной RTX A6000 для одного пользователя обходится в 1 410 ₽.
Формула цены токена
цена 1 млн токенов = тариф в час ÷ (токенов в секунду × 3 600) × 1 000 000
Пример. Карта стоит 100 ₽ в час и выдаёт 500 токенов в секунду суммарно на всех пользователей. За час выходит 1,8 млн токенов. Миллион стоит 100 ÷ 1 800 000 × 1 000 000 ≈ 56 ₽.
В формуле две переменные, и обе управляемые:
- Тариф зависит от выбора карты. Модель, которая помещается на RTX 4090, не нужно запускать на H100.
- Токены в секунду зависят от движка, формата весов и, главное, числа параллельных запросов.
Для одного запроса скорость ограничена пропускной способностью памяти: токенов в секунду ≈ ГБ/с памяти ÷ размер весов в ГБ, на практике 60–80% от этого потолка. Почему так и как это проверить, рассказано в разборе скорости генерации токенов.
Один пользователь или батчинг
При генерации каждого токена карта читает все веса модели из памяти. Для одного запроса вычислительные блоки почти простаивают: карта ждёт данные. Если запросов 32, карта читает веса один раз и применяет их сразу ко всем. Суммарная скорость растёт в 10–20 раз, а тариф остаётся тем же.
Поэтому у своей модели две цены токена:
- Для одного пользователя. Личный ассистент, отладка, редкие запросы. Дорого.
- С батчингом. Сервис, пакетная обработка документов, много одновременных пользователей. Дёшево.
Кроме батчинга, цену токена снижают ещё два приёма. Кеширование префиксов: если у всех запросов одинаковый системный промпт или общий документ, vLLM считает его один раз и переиспользует. Спекулятивное декодирование: маленькая модель предлагает несколько токенов вперёд, а большая проверяет их за один шаг. Для одного пользователя это ускоряет генерацию в 1,5–2 раза на текстах с предсказуемой структурой.
Батчинг из коробки дают vLLM и SGLang. Ollama и llama.cpp в первую очередь рассчитаны на одного пользователя. Как поднять vLLM с OpenAI-совместимым API за несколько минут, показано на странице запуска vLLM.
Расчёт для семи конфигураций
Скорость для одного пользователя посчитана по формуле потолка с коэффициентом 0,7. Суммарная скорость при батчинге дана как ориентир для vLLM при 16–64 параллельных запросах с ответами по несколько сотен токенов. Реальные цифры зависят от длины контекста, версии движка и настроек, поэтому замерьте свою нагрузку перед запуском сервиса.
| Модель и формат | Карта | Веса | 1 пользователь, ток/с | Батчинг, ток/с |
|---|---|---|---|---|
| Qwen 32B, AWQ 4 бита | RTX 4090 24 ГБ | ≈ 19 ГБ | ≈ 37 | ≈ 400 |
| Qwen 32B, FP8 | H100 80 ГБ | ≈ 33 ГБ | ≈ 70 | ≈ 2 000 |
| Llama 3.3 70B, AWQ 4 бита | RTX A6000 48 ГБ | ≈ 40 ГБ | ≈ 13 | ≈ 150 |
| Llama 3.3 70B, FP8 | H100 80 ГБ | ≈ 70 ГБ | ≈ 33 | ≈ 1 000 |
| gpt-oss-20b, MXFP4 | RTX 4090 24 ГБ | ≈ 13 ГБ | ≈ 150 | ≈ 2 500 |
| gpt-oss-120b, MXFP4 | H100 80 ГБ | ≈ 61 ГБ | ≈ 150 | ≈ 3 000 |
| gpt-oss-120b, MXFP4 | A100 80 ГБ | ≈ 61 ГБ | ≈ 90 | ≈ 1 500 |
У gpt-oss скорость выше, чем у плотных моделей того же размера: это Mixture of Experts, и на каждый токен активна лишь малая часть параметров: около 3,6 млрд у 20b и 5,1 млрд у 120b. Подробнее о моделях читайте в статье gpt-oss на своей GPU.
Теперь переводим скорость в рубли по формуле.
| Модель и карта | 1 млн токенов, 1 пользователь | 1 млн токенов, батчинг |
|---|---|---|
| Qwen 32B AWQ, RTX 4090 | 360 ₽ | 33 ₽ |
| Qwen 32B FP8, H100 | 1 346–1 655 ₽ | 47–58 ₽ |
| Llama 70B AWQ, RTX A6000 | 1 410 ₽ | 122 ₽ |
| Llama 70B FP8, H100 | 2 854–3 511 ₽ | 94–116 ₽ |
| gpt-oss-20b, RTX 4090 | 89 ₽ | 5,3 ₽ |
| gpt-oss-120b, H100 | 628–772 ₽ | 31–39 ₽ |
| gpt-oss-120b, A100 | 299 ₽ | 18 ₽ |
Что видно из таблицы:
- Батчинг снижает цену токена в 10–30 раз. Это главный рычаг, сильнее выбора карты.
- Дорогая карта может давать дешёвый токен. Qwen 32B на H100 с батчингом дешевле, чем на RTX 4090: H100 стоит в несколько раз дороже, но выдаёт в 5 раз больше токенов.
- Для одного пользователя выбирайте самую дешёвую карту, на которой модель помещается. Здесь скорость всё равно упирается в память, а не в вычисления.
- MoE-модели — самые дешёвые в обслуживании. gpt-oss-20b на RTX 4090 даёт цену токена, которую плотные модели получают только на H100.
Фактор 1: загрузка сервера
Расчёт выше предполагает, что карта всё оплаченное время генерирует токены. В реальном сервисе так не бывает: ночью запросов меньше, днём — пики.
реальная цена токена = цена при полной загрузке ÷ доля времени под нагрузкой
Пример. Llama 70B FP8 на H100 с батчингом стоит 94–116 ₽ за миллион токенов при полной загрузке. Если сервер работает круглосуточно, а запросы идут только 6 часов в сутки, загрузка — 25%. Реальная цена — в 4 раза выше: 377–463 ₽.
Как снизить потери на простое:
- Выключайте сервер, когда нагрузки нет. При поминутной оплате ночные часы без запросов не стоят ничего, если машина остановлена. Модель в 40–70 ГБ загружается за несколько минут, если веса заранее сохранены рядом.
- Собирайте фоновую работу в пакеты. Классификацию, суммаризацию и разметку можно копить днём и обрабатывать за один запуск на полной загрузке.
- Не берите карту с запасом «на вырост». Одна загруженная карта дешевле двух полупустых.
Фактор 2: входные и выходные токены
API-провайдеры часто берут за входные токены меньше, чем за выходные. На своей GPU разница ещё больше.
Обработка промпта (prefill) идёт параллельно по всем токенам сразу: карта обрабатывает тысячи входных токенов в секунду даже для одного запроса. Генерация (decode) идёт по одному токену за шаг. Поэтому на своей карте входные токены в 10–50 раз дешевле выходных.
Что это значит на практике:
- RAG и анализ документов. Длинный промпт, короткий ответ. Стоимость определяют выходные токены, а длинный контекст почти бесплатен, если хватает памяти под KV-кеш.
- Генерация текстов. Короткий промпт, длинный ответ. Здесь цена из таблицы выше почти равна полной цене задачи.
- Рассуждающие модели. gpt-oss и другие генерируют цепочку рассуждений перед ответом. Эти токены тоже выходные и тоже стоят денег. Для простых задач уменьшайте уровень рассуждений.
Фактор 3: длина контекста
Чем длиннее контекст каждого запроса, тем больше памяти занимает KV-кеш и тем меньше запросов помещается в батч. На карте с 24 ГБ модель 32B в 4 битах оставляет всего несколько гигабайт под кеш, и при контексте 16–32 тысячи токенов параллельно обрабатывается лишь несколько запросов. Поэтому в таблице у RTX 4090 с Qwen 32B самая скромная скорость при батчинге.
Если нужен длинный контекст и много пользователей, выгоднее карта с запасом памяти: 48 ГБ или 80 ГБ. Квантование KV-кеша в FP8 в vLLM удваивает число запросов в той же памяти.
Сравнение с API: ориентир
По данным на октябрь 2026, в Yandex AI Studio gpt-oss-120b в синхронном режиме стоит 0,3 ₽ за 1 000 токенов, то есть 300 ₽ за миллион, gpt-oss-20b — 100 ₽, YandexGPT Pro 5.1 — 800 ₽. Своя gpt-oss-120b на H100 с батчингом обходится в 31–39 ₽ за миллион, но только при полной загрузке и без учёта времени на настройку.
Вывод простой: свой сервер дешевле API, когда загрузка высокая и стабильная. При редких запросах одного пользователя API почти всегда выгоднее. Если вы выбираете между своим сервером и API, считайте не цену токена при полной загрузке, а месячный счёт при вашем реальном числе запросов.
Пример: месячный бюджет чат-бота
Переведём цену токена в понятный счёт. Возьмём чат-бота поддержки на gpt-oss-20b.
Нагрузка. 2 000 диалогов в день, в среднем 5 ответов по 300 токенов. Это 3 млн выходных токенов в сутки, или 90 млн в месяц. В среднем это около 35 токенов в секунду, в пиковый час в 5–10 раз больше, то есть до 350 токенов в секунду.
Карта. gpt-oss-20b на RTX 4090 при батчинге выдаёт около 2 500 токенов в секунду суммарно, запас по пику семикратный. Одной карты хватает.
Счёт за месяц:
- Сервер работает круглосуточно, 720 часов: 34 560 ₽. Миллион выходных токенов в пересчёте — 384 ₽.
- Сервер включён только с 8 до 20, 360 часов: 17 280 ₽. Миллион токенов — 192 ₽.
Обратите внимание: при полной загрузке миллион токенов на этой карте стоил бы 5,3 ₽, а реальная цена в десятки раз выше. Дело в загрузке: бот использует лишь несколько процентов возможностей карты. Это нормально: вы платите за готовность сервера отвечать в любой момент, а не за сами токены.
Если та же нагрузка в 90 млн выходных токенов пошла бы через API gpt-oss-20b в Yandex AI Studio по 100 ₽ за миллион, счёт за выходные токены составил бы около 9 000 ₽ в месяц, плюс входные токены. Сравнивайте именно такие месячные суммы, а не цену токена при идеальной загрузке.
Как замерить цену токена на своей задаче
- Арендуйте карту на час. Для gpt-oss-20b или Qwen 32B в 4 битах хватит RTX 4090 за 48 ₽, для 70B и gpt-oss-120b — A100 или H100.
- Поднимите vLLM с нужной моделью и включите OpenAI-совместимый API.
- Подайте свою нагрузку. Встроенный бенчмарк vLLM или скрипт с реальными промптами: задайте число параллельных запросов, как в вашем сервисе.
- Запишите суммарные токены в секунду на выходе.
- Посчитайте по формуле и разделите на ожидаемую загрузку.
Час теста даёт цифру точнее любой таблицы. Карты для LLM с фильтром по памяти собраны на странице GPU для ИИ.
Цена миллиона токенов на своей GPU = тариф ÷ скорость × загрузка. Батчинг снижает её в 10–30 раз, MoE-модели вроде gpt-oss дают самый дешёвый токен, а простой сервера остаётся главным источником переплаты. Для одного пользователя берите самую дешёвую карту, на которой модель помещается, для сервиса — карту, которая выдаёт больше всего токенов за рубль.
Арендуйте RTX 4090 на час, запустите vLLM со своей моделью и посчитайте цену токена по формуле на своей нагрузке.