14 октября 2026 г. · Анатолий Крылов, редактор Тераферма
RTX PRO 6000 на 96 ГБ: замена H100 для инференса больших моделей?
RTX PRO 6000 заменяет H100 для инференса одной большой модели, если вам важнее объём памяти, чем скорость одного потока. У неё 96 ГБ GDDR7 против 80 ГБ HBM3 у H100: модель 70B в FP8 помещается целиком и ещё остаётся около 20 ГБ под контекст. Но память у RTX PRO 6000 в 1,9 раза медленнее, поэтому один пользователь получит токены примерно вдвое медленнее. В Тераферме RTX PRO 6000 стоит 185 ₽ в час, H100 — 339–417 ₽.
Характеристики: RTX PRO 6000 против H100
RTX PRO 6000 Blackwell вышла в 2025 году как профессиональная карта на той же архитектуре, что RTX 5090, но с 96 ГБ памяти. H100 SXM, серверный ускоритель 2022 года на архитектуре Hopper, остаётся стандартом для обучения LLM.
| Параметр | RTX PRO 6000 | H100 SXM |
|---|---|---|
| Архитектура | Blackwell, 2025 | Hopper, 2022 |
| Видеопамять | 96 ГБ GDDR7 | 80 ГБ HBM3 |
| Пропускная способность памяти | 1 792 ГБ/с | 3 350 ГБ/с |
| FP16/BF16 Tensor, dense | ≈ 500 TFLOPS | ≈ 989 TFLOPS |
| FP32 | ≈ 125 TFLOPS | ≈ 67 TFLOPS |
| Аппаратный FP4 | есть | нет, минимум FP8 |
| NVLink между картами | нет | есть |
| Потребление | 600 Вт | 700 Вт |
| Цена аренды, ₽/час | 185 | 339–417 |
Из таблицы видны три вещи.
Памяти больше у RTX PRO 6000. 16 ГБ разницы значат много: именно они решают, поместится ли модель 70B в FP8 с нормальным контекстом.
Скорость памяти и тензорных ядер выше у H100. Примерно вдвое по обоим показателям. Для LLM это главный параметр скорости генерации.
H100 создана для кластеров. NVLink позволяет связать 8 карт в одну машину с быстрым обменом. RTX PRO 6000 общается с соседями только через PCIe, поэтому для инференса модели, разрезанной на несколько карт, и для распределённого обучения она слабее.
Почему память решает, а скорость важна по-разному
Генерация текста в LLM устроена так: на каждый новый токен карта читает из памяти все веса модели (у MoE-моделей — только активные эксперты). Поэтому скорость одного потока ограничена сверху пропускной способностью памяти, делённой на размер весов.
Пример для модели 70B в FP8, веса около 70 ГБ:
- H100: 3 350 ÷ 70 ≈ 48 токенов в секунду, это теоретический потолок;
- RTX PRO 6000: 1 792 ÷ 70 ≈ 26 токенов в секунду.
На практике получается 60–80% от потолка. Для одного пользователя чата 15–20 токенов в секунду дают комфортную скорость: это быстрее, чем человек читает. Поэтому для внутреннего ассистента разница в скорости часто не ощущается, а разница в цене — ощущается.
Другое дело — много пользователей. Сервер инференса вроде vLLM объединяет запросы в батч: веса читаются один раз на весь батч, и пропускная способность растёт. Здесь в игру вступает объём свободной памяти под KV-кеш, то есть под контекст всех одновременных запросов.
KV-кеш: где 16 ГБ разницы становятся решающими
У Llama 3.3 70B кеш одного токена контекста в 16 битах занимает около 0,31 МБ (80 слоёв × 8 KV-голов × 128 × 2 × 2 байта). Посчитаем, сколько контекста помещается рядом с весами в FP8:
| H100, 80 ГБ | RTX PRO 6000, 96 ГБ | |
|---|---|---|
| Веса 70B в FP8 | ≈ 70 ГБ | ≈ 70 ГБ |
| Служебная память фреймворка | ≈ 3–4 ГБ | ≈ 3–4 ГБ |
| Остаётся под KV-кеш | ≈ 6 ГБ | ≈ 22 ГБ |
| Контекста на все запросы, 16-битный кеш | ≈ 19 тыс. токенов | ≈ 70 тыс. токенов |
| То же с FP8-кешем | ≈ 38 тыс. токенов | ≈ 140 тыс. токенов |
На H100 модель 70B в FP8 запускается, но с коротким суммарным контекстом: пара пользователей с длинными документами, и место кончилось. На RTX PRO 6000 те же веса оставляют примерно в 3,5 раза больше места. Это значит больше одновременных запросов в батче и длинные документы без нарезки.
На H100 ту же модель обычно квантизуют в 4 бита (около 40 ГБ): тогда места под контекст хватает, но часть качества теряется. Если вам нужна именно FP8-точность на одной карте, RTX PRO 6000 даёт её без компромисса по контексту. Ещё больше памяти у H200 со 141 ГБ, разбор в статье H200 или H100.
Какие модели помещаются на одну карту
Ориентиры по весам; сверху нужен запас под контекст. Общие правила расчёта описаны в статье сколько видеопамяти нужно для LLM.
| Модель | Формат | Веса | H100, 80 ГБ | RTX PRO 6000, 96 ГБ |
|---|---|---|---|---|
| Qwen3 32B | BF16 | ≈ 64 ГБ | да, контекст ограничен | да, с запасом |
| Llama 3.3 70B / Qwen 72B | 4 бита | ≈ 40 ГБ | да | да |
| Llama 3.3 70B / Qwen 72B | FP8 | ≈ 70–72 ГБ | впритык | да, ≈ 20 ГБ под контекст |
| gpt-oss-120b | MXFP4 (родной) | ≈ 60–65 ГБ | да | да, больше места под контекст |
| Llama 3.3 70B | BF16 | ≈ 140 ГБ | нет | нет |
| Qwen3 235B-A22B | 4 бита | ≈ 130 ГБ и больше | нет | нет |
Модели на 235B параметров и выше не помещаются ни на одну из двух карт. Для них нужно 2–4 карты, и тут у H100 с NVLink преимущество.
FP4: аргумент в пользу Blackwell
У RTX PRO 6000 тензорные ядра пятого поколения с аппаратной поддержкой FP4. У H100 минимальным аппаратным форматом остаётся FP8. Модели, выпущенные или квантизованные в 4-битных форматах вроде MXFP4 и NVFP4, на Blackwell считаются нативно, а на Hopper — через преобразование.
На практике это значит, что разрыв в скорости между картами на 4-битных моделях меньше, чем на FP8 и BF16. Насколько меньше, зависит от фреймворка и версии: поддержка FP4 в vLLM, TensorRT-LLM и SGLang активно развивается. Перед выбором прогоните свою модель на обеих картах: час теста стоит дешевле месяца на неподходящем железе.
Что выгоднее: считаем цену токена
Сравнивать карты по цене часа нельзя: важна цена миллиона токенов на вашей нагрузке. Формула:
Цена 1 млн токенов = цена часа ÷ (токенов в секунду × 3 600) × 1 000 000
Для одного потока на модели 70B в FP8 H100 примерно в 1,9 раза быстрее RTX PRO 6000 (по соотношению пропускной способности памяти). Значит:
- если H100 дороже RTX PRO 6000 меньше чем в 1,9 раза, она выгоднее и по скорости, и по цене токена;
- если дороже больше чем в 1,9 раза, дешевле токен на RTX PRO 6000.
Сейчас RTX PRO 6000 в Тераферме стоит 185 ₽/час, H100 — 339–417 ₽/час. Подставьте текущие цены в формулу перед запуском.
Для батча из многих запросов картина сдвигается в пользу RTX PRO 6000 ещё сильнее, если на H100 модели тесно: при нехватке памяти под KV-кеш сервер инференса ограничивает число параллельных запросов, и преимущество H100 в скорости не раскрывается.
| Период | RTX PRO 6000 | H100 |
|---|---|---|
| 1 час | 185 ₽ | 339–417 ₽ |
| Рабочий день, 8 часов | 1 480 ₽ | 2 712–3 336 ₽ |
| 22 рабочих дня по 8 часов | 32 560 ₽ | 59 664–73 392 ₽ |
| Месяц 24/7 | 133 200 ₽ | 244 080–300 240 ₽ |
Когда выбирать RTX PRO 6000
- Одна модель 70B в FP8 на одной карте. Внутренний ассистент, RAG по документам, разметка текстов.
- Длинный контекст. Договоры, книги, кодовые базы — всё, где один запрос занимает десятки тысяч токенов.
- Модели в FP4. gpt-oss-120b и другие модели, выпущенные в 4-битных форматах.
- Генерация видео и изображений. Видеомодели в полной точности упираются в память, а не в пропускную способность. 96 ГБ позволяют генерировать длинные ролики без выгрузки частей модели в ОЗУ.
- Дообучение LoRA и QLoRA до 70B. 96 ГБ хватает на модель и оптимизатор адаптера.
Конфигурации и цену смотрите на странице аренда RTX PRO 6000.
Когда нужна H100
- Высокий поток запросов к модели, которая помещается с запасом. Например, 8–32B в 4–8 битах для публичного API: здесь удвоенная скорость памяти H100 напрямую превращается в токены в секунду.
- Минимальная задержка. Голосовые ассистенты и агенты, где важна каждая сотня миллисекунд до первого токена.
- Модели на нескольких картах. 235B и больше, разрезанные на 2–8 карт: NVLink даёт быстрый обмен, PCIe — нет.
- Обучение. Полное обучение и дообучение с FP8 и Transformer Engine, распределённое на несколько карт.
Если вам нужна именно H100, смотрите аренду NVIDIA H100 с поминутной оплатой.
Покупка или аренда
По данным на 14.10.2026 NVIDIA указывает в своём магазине цену RTX PRO 6000 Blackwell Workstation Edition $16 000. На старте продаж в 2025 году она стоила около $8 500, последнее повышение было в августе 2026 года. Покупка оправдана, только если карта будет загружена большую часть времени на протяжении нескольких лет. Для проекта на этапе проверки гипотез аренда на часы теста и рабочие дни обходится в доли этой суммы.
RTX PRO 6000 — не полная замена H100, а другой компромисс: больше памяти, вдвое ниже скорость памяти и тензорных ядер, нет NVLink. Для одной модели до 70B, длинного контекста и 4-битных форматов она часто выгоднее. Для высокого потока запросов, минимальной задержки и кластеров остаётся H100.
Запустите свою модель на RTX PRO 6000 на час, замерьте токены в секунду на реальных запросах и сравните цену миллиона токенов с H100 по формуле выше.