14 октября 2026 г. · Анатолий Крылов, редактор Тераферма
Сервер с H100: 1, 4 или 8 карт — что брать под обучение и инференс
Сервер с H100 бывает на 1, 4 или 8 карт, и выбор определяет одна цифра: сколько памяти нужно задаче. Одна H100 даёт 80 ГБ, четыре карты дают 320 ГБ, восемь — 640 ГБ. На Тераферме одна карта стоит 339–417 ₽ в час, четыре — 1 356–1 668 ₽, восемь — 2 712–3 336 ₽. Для инференса моделей до 70B почти всегда хватает 1–2 карт, для полного обучения моделей от 7B нужны 4, а 8 карт оправданы для обучения от 20B и инференса моделей на сотни миллиардов параметров.
Что такое сервер с H100
H100 построен на архитектуре NVIDIA Hopper: 80 ГБ памяти HBM3, пропускная способность около 3,35 ТБ/с в версии SXM, около 989 TFLOPS в плотных вычислениях FP16/BF16 и поддержка FP8. В 2026 году это всё ещё стандарт для обучения языковых моделей и быстрого инференса.
Ускорители H100 выпускаются в двух исполнениях, и для сервера на несколько карт это важнее, чем кажется.
| Параметр | H100 SXM | H100 PCIe |
|---|---|---|
| Память | 80 ГБ HBM3 | 80 ГБ HBM2e |
| Пропускная способность памяти | ≈ 3,35 ТБ/с | ≈ 2 ТБ/с |
| Теплопакет | до 700 Вт | до 350 Вт |
| Связь между картами | NVLink до 900 ГБ/с на карту, все со всеми через NVSwitch | PCIe 5.0 (≈ 64 ГБ/с в одну сторону), NVLink-мост только между парами карт |
| Типичная платформа | HGX на 4 или 8 карт | обычный сервер на 1–8 карт |
Для одной карты разница сводится к скорости памяти: в инференсе SXM быстрее примерно в той же пропорции, что и пропускная способность. Для 4–8 карт решает связь. При обучении карты постоянно обмениваются градиентами и частями весов. Через NVLink это происходит в разы быстрее, чем через PCIe, и восьмикарточный сервер SXM масштабируется почти линейно, а PCIe-сервер теряет на обмене заметную долю времени.
Перед запуском смотрите в карточке машины, какое исполнение стоит и есть ли NVLink. Как устроено распределённое обучение и сколько теряется на обмене, мы подробно разбирали в статье обучение на нескольких GPU.
Как посчитать, сколько H100 нужно
Две формулы покрывают 90% случаев.
Инференс. Память ≈ параметры × байты на параметр + KV-кэш + 10–20% запаса.
- bf16 — 2 байта на параметр;
- FP8 — 1 байт;
- 4 бита — около 0,55–0,6 байта с учётом служебных данных.
KV-кэш растёт с длиной контекста и числом одновременных запросов. Для одного пользователя с контекстом 8 тыс. токенов это единицы гигабайт, для API на десятки пользователей с длинным контекстом набегают десятки гигабайт. Подробнее рассказано в статье сколько видеопамяти нужно для LLM.
Полное обучение. С оптимизатором Adam в смешанной точности уходит около 16 байт на параметр без учёта активаций. Модель 7B требует около 112 ГБ, 13B — около 208 ГБ.
LoRA и QLoRA. Обучаются только небольшие адаптеры, основная модель заморожена. QLoRA для 70B помещается в одну H100, LoRA в bf16 для 70B требует 2 карты.
Какие модели влезают в 1, 4 и 8 H100
| Задача | 1 × H100 (80 ГБ) | 4 × H100 (320 ГБ) | 8 × H100 (640 ГБ) |
|---|---|---|---|
| Инференс 7–14B в bf16 | да, с запасом под много пользователей | избыточно | избыточно |
| Инференс 32B в bf16 (≈ 64 ГБ) | впритык, короткий контекст | да | избыточно |
| Инференс 70B в 4 бит (≈ 40 ГБ) | да | да, для высокой нагрузки | избыточно |
| Инференс 70B в FP8 (≈ 70 ГБ) | впритык | да | да |
| Инференс 70B в bf16 (≈ 140 ГБ) | нет | да | да |
| Инференс 405B в FP8 (≈ 405 ГБ) | нет | нет | да |
| Инференс 671B (DeepSeek V3/R1) в 4 бит (≈ 380–400 ГБ) | нет | нет | да |
| QLoRA 70B | да | да, быстрее | избыточно |
| Полное обучение 7B (≈ 112 ГБ + активации) | нет | да | да, быстрее |
| Полное обучение 13B (≈ 208 ГБ + активации) | нет | впритык, с FSDP | да |
| Полное обучение 30–34B (≈ 500 ГБ + активации) | нет | нет | впритык, с FSDP и чекпойнтингом активаций |
| Полное обучение 70B (≈ 1,1 ТБ) | нет | нет | нет, нужен кластер из нескольких серверов |
«Впритык» значит: запустится, но с маленьким батчем, коротким контекстом или выгрузкой части данных в оперативную память. Для работы лучше брать следующую конфигурацию.
Отдельный случай: DeepSeek V3 и R1 на 671 млрд параметров. В родной точности FP8 их веса занимают около 700 ГБ и в восемь H100 не помещаются. Варианты: квантизация до 4 бит или сервер на H200 со 141 ГБ на карту.
Сколько стоит сервер с H100: час, день, месяц
Цена масштабируется линейно: восемь карт стоят ровно в восемь раз больше одной. Списание поминутное.
| Период | 1 × H100 | 2 × H100 | 4 × H100 | 8 × H100 |
|---|---|---|---|---|
| 1 час | 339–417 ₽ | 678–834 ₽ | 1 356–1 668 ₽ | 2 712–3 336 ₽ |
| Рабочий день, 8 часов | 2 712–3 336 ₽ | 5 424–6 672 ₽ | 10 848–13 344 ₽ | 21 696–26 688 ₽ |
| Сутки | 8 136–10 008 ₽ | 16 272–20 016 ₽ | 32 544–40 032 ₽ | 65 088–80 064 ₽ |
| Неделя 24/7 | 56 952–70 056 ₽ | 113 904–140 112 ₽ | 227 808–280 224 ₽ | 455 616–560 448 ₽ |
| Месяц 24/7 | 244 080–300 240 ₽ | 488 160–600 480 ₽ | 976 320–1 200 960 ₽ | 1 952 640–2 401 920 ₽ |
Для сравнения: на зарубежном маркетплейсе Vast.ai медиана аренды одной H100 по нашему снимку от 3 октября 2026 года составляет $2,67 в час, минимум — $1,6. Подробно о ценах одной карты и о том, как они складываются, рассказано в статье аренда H100 в 2026 году.
Главной статьёй расходов на многокарточном сервере становится не тариф, а простой. Восемь H100, которые час ждут загрузки датасета, стоят 2 712–3 336 ₽. Готовьте окружение и проверяйте скрипт на одной карте, а на 8 переходите с отлаженным кодом и данными на локальном NVMe.
Цена результата: 1 карта против 8
Больше карт означает дороже час, но не обязательно дороже задачу. Если работа хорошо распараллеливается, 8 карт сделают её в 7 с лишним раз быстрее и обойдутся почти в ту же сумму.
Пример. Полное дообучение модели 7B на датасете, которое на 4 × H100 SXM занимает 12 часов.
| Конфигурация | Ускорение к 4 картам | Время | Карто-часов | Стоимость |
|---|---|---|---|---|
| 4 × H100 SXM | 1× | 12 ч | 48 | 16 272–20 016 ₽ |
| 8 × H100 SXM с NVLink | ≈ 1,9× | ≈ 6,3 ч | ≈ 50 | ≈ 16 950–20 850 ₽ |
| 8 × H100 PCIe без NVLink | ≈ 1,5× | 8 ч | 64 | 21 696–26 688 ₽ |
Коэффициенты ускорения даны как ориентир: реальные цифры зависят от размера модели, батча и настроек FSDP или DeepSpeed. Вывод при этом устойчивый. На SXM с NVLink переход с 4 на 8 карт почти бесплатен по бюджету и вдвое сокращает срок. На PCIe лишние карты съедают деньги на обмене данными.
Для инференса логика другая. Если модель помещается на одну карту, вместо одного сервера на 8 H100 выгоднее держать несколько независимых копий модели на 1–2 картах: нет накладных расходов на тензорный параллелизм, а нагрузка масштабируется простым добавлением машин.
Когда какая конфигурация
1 × H100
- инференс моделей до 32B в bf16 и 70B в 4 битах или FP8;
- QLoRA для моделей до 70B;
- бенчмарки, отладка скриптов, эксперименты с FP8;
- демо-сервис или пилот на одном-двух десятках пользователей.
Это стартовая конфигурация. Час стоит 339–417 ₽, рабочий день — 2 712–3 336 ₽. Если задача не упирается в вычисления, сравните с A100 за 97 ₽ в час: те же 80 ГБ, но медленнее.
4 × H100
- полное обучение и дообучение моделей 7–13B;
- LoRA в bf16 для 70B с большим батчем;
- инференс 70B в bf16 или продакшен-API на 70B с высокой нагрузкой;
- исследовательские прогоны, где нужно уложиться в сутки.
Золотая середина для команд: 320 ГБ памяти закрывают почти все задачи с открытыми моделями, а час стоит 1 356–1 668 ₽.
8 × H100
- полное обучение моделей 20–34B;
- предобучение небольших моделей с нуля на больших датасетах;
- инференс моделей на 300–400 млрд параметров в FP8 и 671B в 4 битах;
- сжатые сроки, когда результат нужен к утру.
Полный сервер HGX даёт максимум, на что способна одна машина. Дальше идёт кластер из нескольких серверов с InfiniBand, и это уже другой уровень сложности и бюджета.
Что проверить перед арендой
- Исполнение карт и NVLink. Для обучения на 4–8 картах нужны SXM или хотя бы пары с NVLink-мостами. В контейнере проверяется командой
nvidia-smi topo -m: между картами должно стоять NV, а не PHB или SYS. - Диск. Веса 70B в bf16 занимают около 140 ГБ, чекпойнт полного обучения 13B с оптимизатором весит больше 200 ГБ. Закладывайте 500 ГБ – 2 ТБ на NVMe.
- Оперативная память и процессор. Для 8 карт нужно не меньше 1 ТБ ОЗУ при выгрузке оптимизатора и достаточно ядер, чтобы загрузчик данных успевал кормить карты.
- Чекпойнты. Данные контейнера после остановки удаляются. Сохраняйте промежуточные результаты во внешнее хранилище каждые 30–60 минут.
- Бюджет на отладку. Час на одной карте до старта восьмикарточного прогона экономит часы на восьми.
Как запустить
На Тераферме конфигурации на 2, 4 и 8 GPU выбираются в каталоге так же, как одна карта: выбираете H100, количество карт, шаблон (PyTorch, vLLM или свой Docker-образ) и объём диска. Через 1–3 минуты приходит SSH-доступ. Баланс пополняется криптовалютой (USDT, BTC и другие) от 500 ₽, оплата картой и счёт для юрлиц запланированы на ближайшее время.
Характеристики свободных машин и текущую цену смотрите на странице аренда NVIDIA H100. Начните с одной карты на час, отладьте код и масштабируйте до 4 или 8, когда будете уверены, что задача упирается в память или время, а не в ошибки в скрипте.
Сервер с H100 выбирают по памяти: 80 ГБ на одну карту, 320 ГБ на четыре, 640 ГБ на восемь. Инференсу до 70B хватает 1–2 карт, полному обучению 7–13B нужны 4 карты, обучению от 20B и гигантским моделям — 8 карт. Для многокарточных конфигураций смотрите на SXM и NVLink: без них лишние карты съедают бюджет на обмене данными.