Аренда GPU для LLM и инференса
Запустить свою LLM на Тераферме можно от 26 ₽ в час. RTX 3090 и 4090 на 24 ГБ тянут модели до 32B в 4 битах, RTX A6000 и L40S на 48 ГБ — 70B в 4 битах, RTX PRO 6000, A100 и H100 — 70B с длинным контекстом и много пользователей сразу. Шаблон vLLM сразу поднимает OpenAI-совместимый API, оплата поминутная.
Какая модель поместится и с какой скоростью
| Видеокарта | Память | 4 бита, до | 8B, ток/с | 32B, ток/с | 70B, ток/с | От, ₽/час |
|---|---|---|---|---|---|---|
| RTX 3090 | 24 ГБ | 34 млрд | ~117 | ~29 | — | 26 |
| RTX 4090 | 24 ГБ | 34 млрд | ~126 | ~32 | — | 48 |
| RTX 5090 | 32 ГБ | 45 млрд | ~224 | ~56 | — | 83 |
| RTX A6000 | 48 ГБ | 68 млрд | ~96 | ~24 | — | 66 |
| L40S | 48 ГБ | 68 млрд | ~108 | ~27 | — | 97 |
| RTX PRO 6000 | 96 ГБ | 136 млрд | ~224 | ~56 | ~26 | 185 |
| A100 | 80 ГБ | 113 млрд | ~255 | ~64 | ~29 | 97 |
| H100 | 80 ГБ | 113 млрд | ~419 | ~105 | ~48 | 417 |
| H200 | 141 ГБ | 199 млрд | ~600 | ~150 | ~69 | 453 |
Скорость одного запроса для модели в 4 битах: пропускная способность памяти ÷ размер весов с поправкой 0,6 на реальные потери. «—» — модель не помещается в одну карту с запасом под контекст. При параллельных запросах в vLLM суммарная скорость выше в разы.
API для своего продукта
vLLM или SGLang с OpenAI-совместимым API: чат-бот, поддержка клиентов, RAG по документам. Continuous batching держит десятки запросов на одной карте.
Свой ChatGPT для команды
Ollama и Open WebUI в браузере. Данные остаются на сервере и не уходят в чужое API.
Пакетная обработка
Разметка, суммаризация, перевод миллиона текстов. Карту арендуют на несколько часов и останавливают, когда очередь пуста.
Большие модели
70B, MoE и длинный контекст на 48–141 ГБ: RTX A6000, L40S, RTX PRO 6000, A100, H100, H200 или несколько карт с tensor parallel.
Инференс LLM: от чего зависит скорость и цена
Для инференса важны два числа. Объём видеопамяти решает, поместится ли модель вместе с KV-кэшем контекста. Пропускная способность памяти решает, сколько токенов в секунду получит один пользователь: каждую новую лексему видеокарта заново читает все веса. Поэтому RTX 5090 с 1,8 ТБ/с генерирует почти вдвое быстрее RTX 4090, хотя памяти у неё всего на 8 ГБ больше.
Цена ответа зависит от загрузки. Одна карта, которая обслуживает один запрос в минуту, стоит столько же, сколько карта с сорока параллельными запросами. Если запросов много, берите vLLM и одну быструю карту. Если мало, берите дешёвую карту и останавливайте сервер на ночь.
Квантование сильнее всего влияет на выбор карты. Модель 70B в FP16 занимает около 140 ГБ, а в 4 битах (AWQ, GPTQ, GGUF Q4) — около 40 ГБ, при этом качество почти не падает. Точно посчитать память под свою модель и контекст поможет VRAM-калькулятор.
Как запустить LLM на арендованной GPU
Выберите карту в каталоге и шаблон «vLLM (LLM API)» или «PyTorch + CUDA + Jupyter», если хотите собрать окружение сами. Сервер готов через 2–5 минут, в карточке появятся SSH, Jupyter и адрес vLLM API. Сама модель загружается ещё 5–10 минут, большие модели — дольше. Пошаговые инструкции: запуск vLLM, запуск Ollama, Qwen, Llama и DeepSeek.
Расчёты под конкретную нагрузку — в статьях скорость генерации токенов LLM, сколько GPU нужно на 1000 пользователей и сколько стоит держать LLM 70B онлайн.
Цены на GPU для LLM
| Видеокарта | Тип | Память | FP16, TFLOPS | Цена, ₽/час | ≈ в месяц | |
|---|---|---|---|---|---|---|
| RTX 3090 | игровая | 24 ГБ | ≈71 | 26 | 18 720 ₽ | Арендовать |
| RTX 4090 | игровая | 24 ГБ | ≈165 | 48 | 34 560 ₽ | Арендовать |
| RTX 5090 | игровая | 32 ГБ | ≈210 | 83 | 59 760 ₽ | Арендовать |
| RTX A6000 | профессиональная | 48 ГБ | ≈155 | 66 | 47 520 ₽ | Арендовать |
| L40S | серверная | 48 ГБ | ≈362 | 97 | 69 840 ₽ | Арендовать |
| RTX PRO 6000 | профессиональная | 96 ГБ | ≈500 | 185 | 133 200 ₽ | Арендовать |
| A100 | серверная | 80 ГБ | ≈312 | 97 | 69 840 ₽ | Арендовать |
| H100 | серверная | 80 ГБ | ≈989 | 417 | 300 240 ₽ | Арендовать |
| H200 | серверная | 141 ГБ | ≈989 | 453 | 326 160 ₽ | Арендовать |
Вопросы об аренде GPU для LLM
Какая видеокарта нужна для LLM?
Модель должна поместиться в видеопамять: в 4 битах около 0,6 ГБ на миллиард параметров, в FP16 — 2 ГБ, плюс запас под контекст. Модели 8–14B работают на RTX 3090 и 4090 с 24 ГБ, 32B в 4 битах — на 24–32 ГБ, 70B в 4 битах — на 48 ГБ (RTX A6000, L40S), 70B в 8 битах — на A100 или H100 с 80 ГБ.
Сколько токенов в секунду выдаёт арендованная GPU?
Для одного запроса скорость ограничена пропускной способностью памяти. Модель 8B в 4 битах: около 115 токенов в секунду на RTX 3090, 125 на RTX 4090, 220 на RTX 5090 и около 420 на H100. Под нагрузкой vLLM обрабатывает десятки запросов параллельно, и суммарная скорость растёт в разы.
Чем запускать LLM: vLLM, Ollama или llama.cpp?
vLLM — для API под нагрузкой: много пользователей, OpenAI-совместимый интерфейс, continuous batching. Ollama и llama.cpp — для одного пользователя и GGUF-моделей, их проще запустить. На Тераферме есть готовый шаблон vLLM с API на порту 8000.
Можно ли держать LLM онлайн круглосуточно?
Да, сервер работает, пока вы его не остановите и пока на балансе есть деньги. Сутки RTX 4090 стоят около 1152 ₽, сутки RTX A6000 — около 1584 ₽. Если API нужен только днём, дешевле запускать сервер по расписанию.
Это дешевле, чем API GigaChat или YandexGPT?
Зависит от объёма. При постоянной нагрузке своя модель на арендованной карте обходится дешевле платы за токены, а данные не уходят третьей стороне. При десятке запросов в день проще платить за API. Посчитайте свой объём токенов и сравните с ценой часа карты.