23 октября 2026 г. · Анатолий Крылов, редактор Тераферма
Две RTX 5090 или одна H100: что выгоднее для LLM 70B и обучения
Две RTX 5090 дают 64 ГБ видеопамяти за 166 ₽ в час, одна H100 — 80 ГБ за 339–417 ₽. Для модели 70B в 4 битах и одного-двух пользователей пара RTX 5090 выдаёт сопоставимую скорость ответа, и обычно дешевле. Для обучения, FP8, длинного контекста и сервиса с очередью запросов выигрывает H100: больше памяти на одной карте, в 2,4 раза больше вычислительной мощности и никакого обмена данными через PCIe.
Характеристики: что вы получаете за деньги
| Параметр | 2× RTX 5090 | H100 SXM |
|---|---|---|
| Видеопамять | 2 × 32 ГБ GDDR7 | 80 ГБ HBM3 |
| Пропускная способность памяти | 2 × 1 792 ГБ/с | 3 350 ГБ/с |
| FP16/BF16 на тензорных ядрах | 2 × ~210 TFLOPS | ~989 TFLOPS |
| FP8 | Да (Blackwell) | Да (Hopper) |
| FP4 | Да | Нет |
| Связь между картами | PCIe, без NVLink | Не нужна: одна карта |
| TDP | 2 × 575 Вт | 700 Вт |
| Цена, ₽/час | 166 | 339–417 |
На бумаге у пары RTX 5090 больше суммарная пропускная способность памяти, а у H100 — в 2,4 раза больше вычислений. Отсюда главный вывод: в задачах, которые упираются в память (генерация токенов), пара RTX 5090 конкурентна. В задачах, которые упираются в вычисления (обучение, обработка длинных промптов), H100 сильно впереди.
Вторая важная строка таблицы: связь между картами. У RTX 5090 нет NVLink, две карты общаются через PCIe 5.0 со скоростью порядка 64 ГБ/с в одну сторону, и то если обе стоят в слотах x16. У H100 модель целиком на одной карте, обмениваться нечем.
LLM 70B: память и скорость
Что помещается
| Формат 70B | Веса | 2× RTX 5090 (64 ГБ) | H100 (80 ГБ) |
|---|---|---|---|
| BF16 | ~140 ГБ | Нет | Нет |
| FP8 | ~70 ГБ | Нет | Да, ~8 ГБ под кэш |
| 4 бита (AWQ, GPTQ, NVFP4) | ~40 ГБ | Да, ~20 ГБ под кэш | Да, ~37 ГБ под кэш |
На двух RTX 5090 модель 70B работает только в 4 битах. На H100 можно выбрать: FP8 с качеством почти как у оригинала, но с небольшим кэшем, или 4 бита с большим запасом под контекст и параллельные запросы.
Скорость одного ответа
Генерация токенов упирается в чтение весов из памяти. Оценка потолка:
ток/с ≈ пропускная способность ÷ объём весов, которые читает одна карта
- 2× RTX 5090, 4 бита, tensor parallel. Каждая карта держит половину весов, около 20 ГБ: 1 792 ÷ 20 ≈ 90 токенов в секунду в теории. На каждом слое карты синхронизируются через PCIe, и на практике выходит заметно меньше, ориентир 40–60 токенов в секунду.
- H100, 4 бита. 3 350 ÷ 40 ≈ 84 в теории, на практике — около 45–60.
- H100, FP8. 3 350 ÷ 70 ≈ 48 в теории, на практике — 30–38.
Для одного пользователя разницы почти нет: оба варианта отвечают быстрее, чем человек читает. Если же запустить 70B на двух картах через llama.cpp с распределением слоёв, карты работают по очереди, и скорость будет как у одной RTX 5090 с половиной модели, около 25–35 токенов в секунду. Для пары карт лучше vLLM с --tensor-parallel-size 2.
Сервис с очередью
Когда запросов много, решает память под KV-кэш. Для Llama 3 70B каждая тысяча токенов контекста занимает около 330 МБ в 16 битах.
- 2× RTX 5090: ~20 ГБ свободно → около 60 тысяч токенов кэша на всех.
- H100, 4 бита: ~37 ГБ → около 110 тысяч токенов.
То есть H100 держит примерно вдвое больше одновременных диалогов. Плюс у неё нет накладных расходов на синхронизацию через PCIe, которые растут с размером батча. Для сервиса на десятки пользователей H100 даёт больше токенов на рубль, для личного ассистента — пара RTX 5090.
Подробнее о том, как считать стоимость модели 70B онлайн в разных конфигурациях, рассказано в статье сколько стоит держать LLM 70B онлайн.
Обучение: где пара RTX 5090 проигрывает
LoRA и дообучение моделей до 8B
Модель 7–8B в BF16 занимает 16 ГБ, LoRA-адаптер и активации добавляют ещё 8–14 ГБ. Это помещается в одну RTX 5090. На двух картах запускается data parallel: каждая карта учит свою копию на своей части данных, раз в шаг они обмениваются градиентами адаптера. Градиенты LoRA маленькие, PCIe с ними справляется.
Здесь пара RTX 5090 работает почти вдвое быстрее одной и обычно даёт лучшую цену результата, чем H100. Как настроить такое обучение, описано в статье RTX 5090 для ИИ.
QLoRA для 70B
4-битные веса 70B занимают около 40 ГБ, плюс адаптер, активации и оптимизатор. На одну RTX 5090 не помещается. На двух — можно, через FSDP с шардированием 4-битных весов (такую схему используют, например, для 70B на паре карт по 24 ГБ). Но настройка сложнее, а каждая итерация гоняет веса через PCIe.
На H100 та же задача запускается на одной карте без шардирования. При цене часа примерно в 2 раза выше пары RTX 5090 и ощутимо большей скорости итерации H100 часто выходит не дороже по цене результата и точно проще.
Полное дообучение и обучение в FP8
С оптимизатором Adam в смешанной точности на параметр уходит около 16 байт: модель 7B требует свыше 110 ГБ без учёта активаций. Ни пара RTX 5090, ни одна H100 этого не вмещают без выгрузки: нужны несколько H100 с FSDP или DeepSpeed. Но если выбирать, на чём масштабироваться, H100 выигрывает за счёт NVLink в серверах на 4–8 карт и Transformer Engine для FP8. Как устроено обучение на нескольких картах, разобрано в статье про multi-GPU обучение.
Расчёт цены результата
Сравнивать стоит не цену часа, а цену готовой работы.
цена задачи = время выполнения × цена часа конфигурации
Пример 1. Инференс 70B для одного пользователя, 8 часов в день. Скорость сопоставима, поэтому решает цена часа. Две RTX 5090 — 1 328 ₽ за день, H100 — 2 712–3 336 ₽.
Пример 2. LoRA для модели 8B, 10 часов на одной RTX 5090. На двух RTX 5090 в data parallel — около 5,5 часа: 913 ₽. На H100 — около 4 часов: 1 356–1 668 ₽. Пара RTX 5090 обычно дешевле, H100 — быстрее.
Пример 3. QLoRA 70B на 20 тысячах примеров. Допустим, H100 справляется за 12 часов: 4 068–5 004 ₽. Пара RTX 5090 с FSDP и обменом через PCIe справится за 20–30 часов: 3 320–4 980 ₽. Цена близка или в пользу H100, а по времени H100 выигрывает в разы.
Время в примерах дано как ориентир для сравнения. Свою цифру лучше получить пробным запуском на 100–200 шагов и умножить на полное число шагов.
Что выбрать: таблица по задачам
| Задача | Выбор | Почему |
|---|---|---|
| Личный ассистент на 70B в 4 битах | 2× RTX 5090 | Та же скорость, час дешевле |
| Сервис 70B на десятки пользователей | H100 | Вдвое больше памяти под кэш, нет PCIe-синхронизации |
| 70B в FP8, максимальное качество | H100 | В 64 ГБ FP8 не помещается |
| Длинный контекст 50–100 тыс. токенов | H100 | Место под кэш |
| LoRA для моделей до 8B | 2× RTX 5090 | Data parallel, лучшая цена результата |
| QLoRA 70B | H100 | Одна карта, без шардирования |
| Генерация картинок и видео | 1–2 отдельные RTX 5090 | Память не складывается, две задачи параллельно |
| Полное обучение | Несколько H100 | NVLink и FP8 |
Генерация картинок и видео: отдельный случай
Для Stable Diffusion, Flux и видеомоделей вроде Wan и HunyuanVideo память двух карт не складывается: модель целиком должна помещаться в одну. Поэтому сравнение здесь другое: одна RTX 5090 с 32 ГБ против H100 с 80 ГБ.
Flux, SDXL и HunyuanVideo 1.5 комфортно работают на 32 ГБ. Вторая RTX 5090 в той же машине работает просто как вторая очередь: две генерации параллельно, вдвое больше картинок в час. H100 нужна, только когда модель в нужном качестве не помещается в 32 ГБ без выгрузки весов, например Wan 14B в 16 битах или длинные ролики в 720p.
Для пакетной генерации тысяч картинок пара RTX 5090 почти всегда выгоднее H100: скорость одной генерации у H100 выше, но не настолько, чтобы перекрыть разницу в цене двух очередей.
Энергопотребление и стабильность
Пара RTX 5090 потребляет до 1 150 Вт против 700 Вт у H100. Для арендатора это не статья расходов (электричество включено в цену часа), но косвенно влияет на стабильность: домашняя или небольшая машина с двумя флагманскими картами греется сильнее серверной стойки. Перед длинной задачей посмотрите в nvidia-smi на температуру и частоты: если карты сбрасывают частоты, реальная скорость будет ниже расчётной.
У H100 в серверном исполнении такой проблемы почти нет: охлаждение рассчитано на круглосуточную нагрузку, а память с ECC защищает от редких ошибок на многодневных обучениях.
О чём помнить при аренде пары карт
- Обе карты в одной машине. Tensor parallel работает только внутри одного сервера. В каталоге ищите машины с двумя RTX 5090, а не две отдельные аренды.
- Слоты PCIe. Если одна из карт стоит в слоте x4 или x8, синхронизация замедляется. Проверить можно командой
nvidia-smi topo -mиnvidia-smi -q | grep -i width. - Оперативная память и диск. Модель 70B в 4 битах сначала читается с диска. Берите машины от 64 ГБ ОЗУ и с быстрым NVMe.
Баланс пополняется от 500 ₽ криптовалютой (USDT, BTC и другие монеты), оплата картой РФ и счёт для юрлиц появятся скоро. Оплата поминутная, так что сравнить обе конфигурации на своей задаче стоит пары часов аренды.
Если сомневаетесь, начните с пары RTX 5090: это дешевле, и для большинства задач инференса её хватает. Переходите на H100, когда упрётесь в память под кэш, захотите FP8 или обучение начнёт занимать дни вместо часов.
Две RTX 5090 выгоднее для личного инференса 70B в 4 битах и для LoRA моделей до 8B: скорость сопоставима или выше, а час дешевле. H100 выгоднее для сервиса с очередью, FP8, длинного контекста и обучения больших моделей: 80 ГБ на одной карте и в 2,4 раза больше вычислений перевешивают разницу в цене.
Сравните обе конфигурации на своей задаче: запустите пробный прогон на RTX 5090 и на аренде NVIDIA H100 и посчитайте цену результата по формуле выше.