16 ноября 2026 г. · Анатолий Крылов, редактор Терафермы
B200 для обучения LLM: что даёт Blackwell и кому он нужен в 2026
B200 нужен для обучения LLM, когда задаче тесно в 80 ГБ H100 или когда срок важнее цены. У ускорителя 192 ГБ HBM3e, пропускная способность 8 ТБ/с и около 2 250 TFLOPS в плотных BF16-вычислениях против 80 ГБ, 3,35 ТБ/с и 989 TFLOPS у H100. В реальном обучении это даёт ускорение примерно в 2–2,3 раза на карту. На Тераферме B200 стоит 1 070–1 543 ₽ в час, H100 — 277–329 ₽.
B200, H200 и H100: характеристики
| Параметр | H100 SXM | H200 | B200 |
|---|---|---|---|
| Архитектура | Hopper | Hopper | Blackwell |
| Память | 80 ГБ HBM3 | 141 ГБ HBM3e | 192 ГБ HBM3e |
| Пропускная способность | 3,35 ТБ/с | 4,8 ТБ/с | 8 ТБ/с |
| BF16, плотные вычисления | ~989 TFLOPS | ~989 TFLOPS | ~2 250 TFLOPS |
| Низкая точность | FP8 | FP8 | FP8, FP6, FP4 |
| Связь между картами (NVLink) | 900 ГБ/с | 900 ГБ/с | 1,8 ТБ/с |
| TDP | 700 Вт | 700 Вт | 1 000 Вт |
| Цена на Тераферме, ₽/час | 277–329 | 440–464 | 1 070–1 543 |
Главное, что видно из таблицы: H200 остаётся H100 с большей памятью, а у B200 новое вычислительное ядро. Он быстрее не только за счёт памяти, но и за счёт тензорных ядер. Чем отличаются два Hopper-ускорителя, подробно разобрано в статье H200 или H100.
Что даёт Blackwell в обучении
Больше вычислений на карту. B200 собран из двух кристаллов, которые работают как один ускоритель. Отсюда почти 2,3-кратный прирост паспортных TFLOPS в BF16. В тестах MLPerf Training, по данным провайдеров, получалось около 2 раз на предобучении GPT-3 и около 2,2 раза на дообучении Llama 2 70B в пересчёте на карту.
FP8 и FP4. Второе поколение Transformer Engine умеет считать в FP8 стабильнее, а FP4 и FP6 открывают дорогу к ещё более дешёвым вычислениям. Для обучения пока практичен FP8: он поддерживается в Megatron-LM, NeMo и в свежих версиях PyTorch через Transformer Engine. FP4 сегодня в первую очередь про инференс, в обучении его используют только экспериментально.
Память 192 ГБ. На одной карте помещается то, что на H100 приходилось делить между двумя-тремя. Меньше карт, значит меньше обмена градиентами и проще настройка.
NVLink 1,8 ТБ/с. На узле из восьми B200 карты обмениваются данными вдвое быстрее, чем H100. Это заметно на больших моделях, где шардирование FSDP или ZeRO-3 гоняет веса между картами на каждом шаге.
Цена этого: питание. 1 000 Вт на карту, и для машин с восемью B200 нужно серьёзное охлаждение. Поэтому таких машин на рынке немного, а у частных владельцев их почти нет, это оборудование дата-центров.
Что помещается в B200
| Задача | H100 80 ГБ | B200 192 ГБ |
|---|---|---|
| LoRA для 8B в BF16 | 1 карта | 1 карта |
| Полное дообучение 7–8B (~16 байт на параметр) | 2–4 карты | 1 карта |
| QLoRA для 70B в 4 битах | 1 карта | 1 карта |
| LoRA для 70B без квантования (веса ~140 ГБ) | 2–3 карты | 1 карта |
| Полное дообучение 70B | 16+ карт, два узла | 8 карт, один узел |
| Инференс 70B в FP16 с длинным контекстом | 2 карты | 1 карта |
Ключевая строка: полное дообучение модели 7–8B. На H100 для этого нужно шардирование между 2–4 картами, на B200 модель обучается на одной карте без распределённой настройки. Расчёт памяти и GPU-часов для полного дообучения разных моделей есть в статье полное дообучение LLM: сколько GPU нужно.
Когда B200 дешевле H100: формула
Цена обучения складывается из цены часа, умноженной на часы. B200 быстрее, но и дороже. Значит, выгоду определяет одно соотношение:
B200 выгоднее, если цена часа B200 ÷ цена часа H100 < ускорение B200
Подставим рыночные цифры. По снимку Vast.ai на 03.10.2026 медиана за час B200 составила $7,82, H100 $2,67. Отношение — 2,93. Ускорение в обучении — 2–2,3. Вывод: на одной карте при задаче, которая помещается в 80 ГБ, обучение на H100 выходит дешевле на 25–45%.
Но формула меняется, когда H100 нужно несколько:
стоимость = число карт × цена часа × часы
| Сценарий | H100 | B200 | Стоимость по медианам Vast | Что выбрать |
|---|---|---|---|---|
| LoRA 8B | 1 × 10 ч = 10 GPU-ч | 1 × ~4,5 ч | $26,7 против $35,2 | H100 |
| Полное дообучение 8B | 4 × 3 ч = 12 GPU-ч | 1 × ~5,5 ч | $32 против $43 | H100 дешевле, B200 проще и не нужен FSDP |
| LoRA 70B в BF16 | 3 × 8 ч = 24 GPU-ч | 1 × ~10 ч | $64 против $78 | Близко; B200 — одна карта без шардирования |
| Полное дообучение 70B | 16 H100 на двух узлах, обмен через обычную сеть тормозит в разы | 8 × B200 на одном узле | Зависит от сети, обычно в пользу B200 | B200 |
Время на B200 оценочное: GPU-часы H100, делённые на ускорение около 2,2. Когда B200 заменяет несколько H100, выигрыш бывает чуть больше, потому что исчезают потери на обмене между картами, но не настолько, чтобы перекрыть почти трёхкратную разницу в цене.
На Тераферме это переводится так: 10 часов H100 — 2 770–3 290 ₽, 4,5 часа B200 — 4 815–6 944 ₽. Цены обеих карт заметно колеблются, поэтому подставьте свои часы и текущие тарифы перед запуском.
Честный вывод из расчёта: по деньгам B200 выигрывает редко, в основном там, где конфигурация из H100 теряет эффективность: межузловая сеть, выгрузка в оперативную память, слишком мелкое шардирование. В остальных случаях B200 покупает время и простоту: задача идёт вдвое быстрее и на меньшем числе карт.
А если H200?
H200 занимает промежуточное место. Вычисления у него как у H100, поэтому в обучении он быстрее H100 только там, где H100 упирается в память или в обмен между картами. Зато 141 ГБ закрывают многие задачи, ради которых смотрят на B200: полное дообучение 7B на одной-двух картах, LoRA для 32B в BF16 на одной карте, инференс 70B в FP8 с длинным контекстом. Если ваша задача помещается в 141 ГБ, а срок не горит, сравните H200 по той же формуле: отношение его цены к H100 обычно меньше, чем у B200, а настройка такая же, как на привычном Hopper.
Кому B200 нужен
- Полное дообучение моделей 7–14B. Одна-две B200 вместо узла H100 и без борьбы с шардированием.
- Дообучение 70B без квантования. LoRA или частичная разморозка на 70B в BF16 на одной карте, тогда как на H100 для этого нужны 2–3 карты.
- Обучение на длинном контексте. Активации на последовательностях 32–128 тыс. токенов съедают память быстрее весов. 192 ГБ дают запас.
- Срочные задачи. Если результат нужен завтра, а не через неделю, двукратная скорость стоит своих денег.
- RL-дообучение. В GRPO и похожих методах модель одновременно генерирует ответы и обучается. Большая память позволяет держать на одной карте и генерацию, и обучение.
Кому B200 не нужен
- LoRA и QLoRA для моделей до 14B. Это задачи для RTX 4090, RTX 5090, A100 или одной H100. На B200 вы переплатите в разы. Как дообучать на недорогих картах, рассказано в статье дообучение LoRA на арендованной GPU.
- Эксперименты и отладка. Код ломается одинаково на любой карте. Отлаживайте на дешёвой, на B200 переходите с готовым скриптом.
- Задачи, которые упираются в данные. Если загрузчик не успевает кормить H100, B200 будет простаивать ещё больше.
- Старый стек. Blackwell требует свежих драйверов, CUDA 12.8 и новее и актуальных версий PyTorch. Если ваш проект застрял на старых библиотеках, сначала обновите его на H100.
Как подготовиться к аренде B200
Час B200 стоит дорого, поэтому всё, что можно сделать заранее, делайте заранее.
- Проверьте скрипт на маленькой копии. Запустите обучение на модели 0,5–1B и 1% данных на дешёвой карте. Убедитесь, что чекпойнты сохраняются и загружаются.
- Соберите Docker-образ. PyTorch с поддержкой Blackwell, Transformer Engine, flash-attention, DeepSpeed: всё внутри образа. Сборка flash-attention на сервере отнимает до получаса оплаченного времени.
- Включите BF16 или FP8. FP32 на B200 означает выброшенные деньги: тензорные ядра работают на низкой точности.
- Положите данные рядом. Датасет и базовую модель держите в S3-совместимом хранилище, чтобы скачать их на сервер на скорости машины, а не вашего домашнего канала.
- Сохраняйте чекпойнты наружу. Каждые 20–30 минут во внешнее хранилище. Диск удаляется при остановке сервера, а при отключении машины простой не оплачивается, но прогресс без чекпойнта пропадёт.
- Следите за загрузкой.
nvidia-smi dmonво втором окне. Если утилизация ниже 70%, ищите узкое место в данных или в обмене между картами.
На Тераферме доступны конфигурации на 2, 4 и 8 GPU. Машин с B200 на рынке немного, поэтому наличие и конфигурации смотрите на странице аренда B200 перед планированием. Пополнение баланса картой российского банка или криптовалютой от 500 ₽, оплата поминутная: стоимость минуты равна тарифу за час, делённый на 60.
B200 — первый за несколько лет ускоритель, который в обучении LLM быстрее H100 не на проценты, а в 2–2,3 раза на карту, плюс 192 ГБ памяти и вдвое быстрый NVLink. Но и стоит он примерно втрое дороже. Поэтому по деньгам он выигрывает редко, а по сроку и простоте почти всегда: полное дообучение 7–14B на одной карте, LoRA 70B без квантования, длинный контекст и полное дообучение 70B на одном узле вместо двух. Для LoRA на моделях до 14B и для экспериментов берите H100 или карты попроще.
Посчитайте свою задачу по формуле выше и, если B200 выигрывает, проверьте наличие машин на странице аренда B200.