14 октября 2026 г. · Анатолий Крылов, редактор Тераферма
Сколько стоит держать LLM 70B онлайн: час, сутки и месяц в рублях
Сколько стоит запустить LLM 70B и держать её онлайн: от 66 ₽ в час на одной RTX A6000 с 48 ГБ до 339–417 ₽ в час на H100. Сутки на A6000 — 1 584 ₽, месяц без выключения — 47 520 ₽. Минимум, который нужен модели 70B, составляет около 42 ГБ видеопамяти в 4-битной квантизации, поэтому карты на 24 и 32 ГБ в одиночку не подходят.
Сколько памяти нужно модели 70B
Формула простая: число параметров × байт на параметр + 10–20% на контекст и служебные буферы.
| Точность | Веса | С запасом под контекст | Что подходит |
|---|---|---|---|
| FP16 / BF16 | ~140 ГБ | 160+ ГБ | 2× H100, 2× A100 80 ГБ |
| FP8 / INT8 | ~70 ГБ | 80–90 ГБ | H100, A100 80 ГБ (впритык), RTX PRO 6000, H200 |
| 4 бита (AWQ, GPTQ, Q4_K_M) | ~40 ГБ | 42–48 ГБ | RTX A6000, L40S, 2× RTX 4090, 2× RTX 3090 |
Контекст съедает больше, чем кажется. У моделей класса Llama 3.3 70B кэш ключей и значений (KV-кэш) в 16 битах занимает около 320 КБ на токен: 32 тысячи токенов — примерно 10 ГБ. Если одновременно работают пять пользователей с длинными диалогами, памяти нужно уже на десятки гигабайт больше, чем под одни веса. Подробный расчёт по размерам моделей есть в статье сколько видеопамяти нужно для LLM.
Практический вывод: одному пользователю с умеренным контекстом нужно минимум 48 ГБ. Для сервиса на несколько человек берите 80 ГБ и больше.
Конфигурации и цена: час, сутки, месяц
Цены Терафермы указаны с поминутной оплатой, минимум 15 минут за запуск. В таблице «месяц» означает 720 часов без выключения, «рабочее время» — 8 часов × 22 дня = 176 часов.
| Конфигурация | Память | Точность 70B | Час | Сутки | Рабочее время | Месяц 24/7 |
|---|---|---|---|---|---|---|
| 2× RTX 3090 | 48 ГБ | 4 бита | 52 ₽ | 1 248 ₽ | 9 152 ₽ | 37 440 ₽ |
| RTX A6000 | 48 ГБ | 4 бита | 66 ₽ | 1 584 ₽ | 11 616 ₽ | 47 520 ₽ |
| 2× RTX 4090 | 48 ГБ | 4 бита | 96 ₽ | 2 304 ₽ | 16 896 ₽ | 69 120 ₽ |
| L40S | 48 ГБ | 4 бита | 97 ₽ | 2 328 ₽ | 17 072 ₽ | 69 840 ₽ |
| A100 80 ГБ | 80 ГБ | 4 или 8 бит | 97 ₽ | 2 328 ₽ | 17 072 ₽ | 69 840 ₽ |
| RTX PRO 6000 | 96 ГБ | 8 бит | 185 ₽ | 4 440 ₽ | 32 560 ₽ | 133 200 ₽ |
| H100 | 80 ГБ | 8 бит (FP8) | 339–417 ₽ | 8 136–10 008 ₽ | 59 664–73 392 ₽ | 244 080–300 240 ₽ |
| H200 | 141 ГБ | 8 бит, длинный контекст | 453 ₽ | 10 872 ₽ | 79 728 ₽ | 326 160 ₽ |
Цены в каталоге следуют за рынком и пересчитываются при каждом обновлении, поэтому порядок строк по стоимости может меняться. Актуальные тарифы и доступные машины смотрите на странице аренда сервера с видеокартой.
Две карты по 24 ГБ дают те же 48 ГБ, что одна A6000, но модель приходится делить между ними (tensor parallel в vLLM или разбиение слоёв в llama.cpp). Это работает, но обмен данными между картами по PCIe отнимает часть скорости. Если цена близка, одна карта с большим объёмом удобнее.
Скорость: сколько токенов в секунду вы получите
Генерация текста упирается в пропускную способность памяти: на каждый токен карта читает все веса модели. Отсюда грубый потолок: пропускная способность ÷ размер весов.
| Конфигурация | Пропускная способность | Веса 70B | Потолок, ток/с | На практике, ток/с |
|---|---|---|---|---|
| RTX A6000 | 768 ГБ/с | ~40 ГБ (4 бита) | ~19 | 11–15 |
| A100 80 ГБ | 2 039 ГБ/с | ~40 ГБ (4 бита) | ~50 | 30–40 |
| H100 | 3 350 ГБ/с | ~70 ГБ (FP8) | ~48 | 30–38 |
| H200 | 4 800 ГБ/с | ~70 ГБ (FP8) | ~68 | 40–55 |
Это скорость для одного запроса. Для чата с человеком комфортно 20–30 токенов в секунду, так что A6000 подходит для внутреннего ассистента на одного-двух сотрудников, но не для сервиса с очередью. Почему скорость считается именно так и как её проверить на своей задаче, рассказано в разборе скорости генерации токенов.
При пакетной обработке картина меняется. vLLM и SGLang обслуживают несколько запросов за один проход по весам, и суммарная выдача карты растёт в разы, пока хватает памяти под KV-кэш. Поэтому на 80 ГБ одна и та же модель обслуживает заметно больше пользователей, чем на 48 ГБ: свободные гигабайты уходят под одновременные диалоги.
Цена миллиона токенов: как пересчитать тариф
Сравнивать конфигурации по цене часа неудобно: дешёвая карта генерирует медленнее. Честнее считать, сколько стоит миллион сгенерированных токенов.
Формула: цена миллиона токенов = тариф за час ÷ (токенов в секунду × 3 600) × 1 000 000.
Пример на условных числах. Карта стоит 100 ₽ в час и выдаёт 35 токенов в секунду на одного пользователя. За час выходит 126 000 токенов. Миллион токенов обойдётся в 100 ÷ 126 000 × 1 000 000 ≈ 794 ₽. Если та же карта обслуживает пакетом 8 запросов и суммарно выдаёт 200 токенов в секунду, миллион стоит уже около 139 ₽.
Отсюда два вывода:
- Загрузка важнее тарифа. Сервер, который отвечает одному человеку раз в несколько минут, тратит деньги на ожидание. Тот же сервер под пакетной нагрузкой стоит в 5–10 раз дешевле в пересчёте на токен.
- Быстрая карта может быть дешевле медленной. Если H100 генерирует втрое быстрее A6000, а стоит меньше чем втрое дороже, при полной загрузке миллион токенов на ней дешевле.
Для сравнения с готовыми API: российский провайдер immers.cloud по данным на 14.10.2026 продаёт доступ к DeepSeek-V4-Flash по 19 ₽ за миллион входящих и 79 ₽ за миллион исходящих токенов. Это другая модель и другой класс задач, но ориентир полезный: если ваш сервер выдаёт меньше нескольких сотен тысяч токенов в час, оплата по токенам обычно выходит дешевле собственной машины.
Сценарии: сколько стоит ваш вариант
Для каждого указана разумная конфигурация и порядок затрат.
| Сценарий | Конфигурация | Часов в месяц | Стоимость в месяц |
|---|---|---|---|
| Проверить модель, сравнить промпты | RTX A6000 | 10 | 660 ₽ |
| Внутренний ассистент в рабочее время | A100 80 ГБ | 176 | 17 072 ₽ |
| Пилот для клиента, круглосуточно | A100 80 ГБ | 720 | 69 840 ₽ |
| Публичный сервис с десятками пользователей | H100 | 720 | 244 080–300 240 ₽ |
Тест и выбор модели. Не держите сервер включённым, пока пишете промпты. Поднимите машину, загрузите две-три модели, прогоните набор вопросов и выключите. Десять часов на A6000 хватает, чтобы сравнить квантизации и понять, нужна ли вообще 70B или справится 32B.
Внутренний ассистент. Если сотрудники работают с 9 до 18, сервер нет смысла держать ночью. Скрипт запуска утром и остановки вечером экономит около 75% месячного счёта.
Пилот 24/7. Когда клиент должен пользоваться сервисом в любое время, месяц непрерывной работы неизбежен. Здесь A100 с 80 ГБ выглядит удобным компромиссом: модель в 4 битах занимает половину памяти, остальное идёт на контекст и параллельные запросы.
Публичный сервис. Для десятков одновременных пользователей важны и память под KV-кэш, и скорость. H100 с FP8 или H200 дают запас по обоим параметрам. Если нагрузка неравномерная, имеет смысл держать одну машину постоянно, а вторую поднимать в часы пик.
Как сократить счёт за 70B
- Сначала проверьте 32B. Современные модели класса 27–32B во многих задачах близки к 70B предыдущего поколения, а помещаются на одну карту с 24–32 ГБ. Экономия — в разы.
- Квантизация 4 бита вместо 8. Потеря качества у AWQ и Q4_K_M на большинстве задач малозаметна, а память и тариф уменьшаются примерно вдвое.
- Ограничьте контекст.
--max-model-len 16384в vLLM вместо максимальных 128 тысяч освобождает память под параллельные запросы. - Выключайте сервер по расписанию. Поминутная оплата работает в вашу пользу только тогда, когда машина действительно останавливается.
- Учитывайте загрузку весов. После остановки данные на сервере удаляются, поэтому при каждом запуске 40 ГБ весов скачиваются заново, а это оплачиваемые минуты. Закладывайте диск от 150 ГБ и начинайте скачивание первой командой, пока настраиваете остальное.
Если нагрузка стабильная и вы готовы платить за месяц вперёд, сравните почасовую аренду с выделенными серверами: при загрузке близкой к 100% фиксированная месячная цена бывает выгоднее.
Первый запуск 70B: что сделать за полчаса
Прежде чем считать месяц, проверьте модель на своих запросах. Порядок, который укладывается в 30–40 минут на RTX A6000 — около 44 ₽:
- Выберите машину с 48 ГБ и шаблоном vLLM, диском от 150 ГБ.
- Сразу запустите скачивание 4-битной версии модели (AWQ или GPTQ): это самая долгая часть.
- Поднимите сервер vLLM с
--max-model-len 16384и--quantization awq. Пошаговые команды есть на странице запуска Llama. - Прогоните 20–30 своих типичных запросов и запишите скорость в токенах в секунду и время до первого токена.
- Остановите сервер.
После такого теста у вас есть реальная скорость на вашей нагрузке, а не паспортная оценка. Если её мало для нужного числа пользователей, повторите тест на A100 или H100, и только потом выбирайте конфигурацию на месяц. Сколько карт нужно под конкретное число пользователей, разобрано в статье сколько GPU нужно для LLM-сервиса.
Минимальный бюджет, чтобы держать LLM 70B онлайн, — одна карта на 48 ГБ: 66 ₽ в час и 47 520 ₽ за месяц без выключения на RTX A6000. Для сервиса на нескольких пользователей нужна карта на 80 ГБ: A100 за 97 ₽ или H100 за 339–417 ₽ в час. Главный рычаг экономии — не выбор карты, а загрузка: выключайте сервер, когда он не нужен, и обслуживайте запросы пакетом.
Начните с часа теста: пополните баланс от 500 ₽ (сейчас криптовалютой, оплата картой РФ — скоро), запустите модель на RTX A6000 или A100 и замерьте скорость на своих запросах.