6 ноября 2026 г. · Анатолий Крылов, редактор Терафермы
Полное дообучение LLM 7B–70B: сколько GPU и часов нужно вместо LoRA
Полное дообучение LLM требует около 16 байт видеопамяти на каждый параметр модели. Для 7B это примерно 112 ГБ, то есть минимум две H100 по 80 ГБ, а удобнее четыре. Для 70B — около 1,1 ТБ, то есть целый узел из восьми B200. По времени: 300 млн токенов на модели 7B займут около 9 GPU-часов H100 (2 493–2 961 ₽), на 70B — около 39 GPU-часов B200 (41 730–60 177 ₽).
Чем полное дообучение отличается от LoRA
При LoRA основные веса модели заморожены. Обучаются только маленькие матрицы-адаптеры, обычно меньше 1% параметров. Градиенты и состояния оптимизатора нужны лишь для них, поэтому модель 8B дообучается на одной карте на 24 ГБ, а с QLoRA даже 70B помещается в 48–80 ГБ. Как это делается на практике, описано в статье дообучение LoRA на арендованной GPU.
При полном дообучении (full fine-tuning) обновляются все веса. Модель может измениться глубже: выучить новый язык, терминологию узкой области, другой стиль рассуждений. Платить приходится памятью. Для каждого параметра нужно хранить:
| Что хранится | Формат | Байт на параметр |
|---|---|---|
| Веса модели | bf16 | 2 |
| Градиенты | bf16 | 2 |
| Мастер-копия весов | FP32 | 4 |
| Первый момент AdamW | FP32 | 4 |
| Второй момент AdamW | FP32 | 4 |
| Итого | 16 |
К этому добавляются активации, промежуточные результаты прямого прохода, которые нужны для обратного. Их объём зависит от длины последовательности и размера батча. Чекпойнтинг активаций (gradient checkpointing) сокращает их в несколько раз ценой примерно 30% дополнительного времени, и для полного дообучения его включают почти всегда.
Сколько памяти и карт нужно
Умножаем параметры на 16 байт и делим на память одной карты. Это нижняя граница: на активации, буферы фреймворка и фрагментацию памяти закладывайте ещё 20–40%.
| Модель | Память под обучение | H100 80 ГБ | H200 141 ГБ | B200 192 ГБ |
|---|---|---|---|---|
| 7–8B | 112–128 ГБ | 2–4 | 1–2 | 1 |
| 13–14B | 210–225 ГБ | 4 | 2–4 | 2 |
| 32B | ≈ 510 ГБ | 8 | 4–8 | 4 |
| 70B | ≈ 1,1 ТБ | 16+ (два узла) | 8 с 8-битным оптимизатором | 8 |
В колонках указано, сколько карт нужно при шардировании FSDP или DeepSpeed ZeRO-3, когда веса, градиенты и состояния оптимизатора равномерно делятся между всеми картами.
Ключевая граница проходит по восьми картам. Внутри одного сервера карты связаны NVLink, и обмен градиентами идёт быстро. Если нужно больше восьми, понадобится несколько серверов с быстрой сетью между ними, обычно InfiniBand. На маркетплейсе такие кластеры встречаются редко, а через обычную сеть обучение на нескольких узлах тормозит в разы. Подробнее о том, как масштабируется обучение, читайте в статье обучение на нескольких GPU.
Поэтому для 70B практичнее взять один узел из восьми B200, если такая конфигурация есть в каталоге, (1,5 ТБ памяти на всех) или восемь H200 с приёмами экономии памяти из раздела ниже. Восемь H100 дают только 640 ГБ, и без выгрузки части данных в оперативную память 70B туда не помещается.
Сколько часов займёт обучение
Объём вычислений для обучения трансформера оценивается известной формулой:
FLOP ≈ 6 × N × D
где N — число параметров, D — число токенов, которые модель увидит за всё обучение (размер датасета × число эпох). Шестёрка складывается из прямого прохода (2) и обратного (4).
Дальше делим на реальную скорость карты. Паспортная производительность H100 в плотных bf16-вычислениях составляет около 989 TFLOPS, у B200 — около 2 250 TFLOPS. На практике при обучении LLM удаётся загрузить ускоритель на 35–50%, для оценки берём 40%.
GPU-часы = 6 × N × D ÷ (TFLOPS × 10¹² × 0,4) ÷ 3 600
Пример для модели 7B и датасета 100 млн токенов на три эпохи (D = 300 млн):
6 × 7·10⁹ × 3·10⁸ = 1,26·10¹⁹ FLOP. Скорость H100 с учётом загрузки: 989·10¹² × 0,4 ≈ 3,96·10¹⁴ FLOP/с. Делим: около 31 800 секунд, или 8,8 GPU-часа. На четырёх H100 это чуть больше двух часов реального времени.
| Модель | GPU-часы на 300 млн токенов | Конфигурация | Время на узле | Стоимость |
|---|---|---|---|---|
| 7B | ≈ 9 ч H100 | 4 × H100 | ≈ 2,2 ч | 2 493–2 961 ₽ |
| 14B | ≈ 18 ч H100 | 4 × H100 | ≈ 4,5 ч | 4 986–5 922 ₽ |
| 32B | ≈ 40 ч H100 | 8 × H100 | ≈ 5 ч | 11 080–13 160 ₽ |
| 70B | ≈ 39 ч B200 | 8 × B200 | ≈ 4,9 ч | 41 730–60 177 ₽ |
Стоимость считается как GPU-часы × тариф одной карты. Добавьте 15–30% на чекпойнтинг активаций, сохранение чекпойнтов, загрузку данных и отладку: первый запуск на большой конфигурации редко проходит без перезапусков.
Обратите внимание: 70B на B200 требует меньше GPU-часов, чем 32B на H100. B200 считает примерно в 2,3 раза быстрее, поэтому дорогой тариф отчасти компенсируется скоростью. Тарифы на все серверные карты смотрите на странице цен.
Как уменьшить память и число карт
Если карт меньше, чем показывает таблица, есть несколько рычагов. Каждый что-то стоит.
8-битный оптимизатор. AdamW в 8 битах (bitsandbytes, adamw_8bit) хранит два момента не в 8, а в 2 байтах на параметр. Итого около 10 байт вместо 16, минус 37% памяти. Качество обычно почти не страдает, но на очень больших моделях стоит сравнить кривые обучения.
Выгрузка в оперативную память. DeepSpeed ZeRO-Offload и FSDP с CPU offload держат состояния оптимизатора в ОЗУ сервера. Память видеокарт освобождается, но обучение замедляется в 1,5–3 раза и требует сотен гигабайт ОЗУ. Подходит, когда нужно уложиться в конфигурацию, а не ускориться.
Короткие последовательности. Активации растут с длиной контекста. Если ваши примеры укладываются в 2 000 токенов, не обучайте на 8 000.
Частичная разморозка. Можно обучать только верхние слои или только блоки внимания, заморозив остальное. Это компромисс между LoRA и полным дообучением: память меньше, глубина изменений выше, чем у адаптеров.
Карта с большей памятью. Иногда две H200 проще и дешевле, чем четыре H100: меньше обмена между картами, меньше настроек шардирования. Сравнение этих ускорителей есть в статье H200 или H100.
Полное дообучение или LoRA: как выбрать
Полное дообучение дороже LoRA в разы: по памяти, а значит и по числу карт. Оно оправдано не всегда.
| Задача | Что выбрать | Почему |
|---|---|---|
| Формат ответов, тон, шаблоны | LoRA | меняется поверхностное поведение, хватает тысяч примеров |
| Классификация, извлечение полей | LoRA | узкая задача, адаптер справляется |
| Узкая терминология на 10–50 млн токенов | LoRA с высоким рангом | обычно достаточно, сначала проверьте |
| Новый язык или крупная предметная область, 100+ млн токенов | полное дообучение | адаптеру не хватает ёмкости |
| Продолжение предобучения на своём корпусе | полное дообучение | меняются базовые знания модели |
| Дистилляция большой модели в маленькую | полное дообучение | обучается вся маленькая модель |
Практический порядок: сначала LoRA на одной карте. Если качество упирается в потолок и растёт при увеличении ранга адаптера, это сигнал, что модели нужно больше обучаемых параметров. Тогда имеет смысл переходить к полному дообучению, уже понимая, какие данные работают.
Чем запускать
Для полного дообучения на нескольких картах в 2026 году чаще всего используют:
- Hugging Face TRL и Accelerate с FSDP или DeepSpeed ZeRO-3 — гибко, много примеров, подходит для своих скриптов;
- Axolotl — конфигурация в YAML, поддерживает и LoRA, и полное дообучение, удобно переключаться между ними;
- LLaMA-Factory — то же через конфиги и веб-интерфейс, широкий список поддерживаемых моделей.
Минимальная проверка перед длинным запуском: прогоните 20–50 шагов на полной конфигурации, посмотрите пиковую память в nvidia-smi и скорость шага. Умножьте время шага на общее число шагов: это реальная оценка, точнее любой формулы. Отладку скрипта делайте на маленькой версии модели и одной карте подешевле, а дорогой узел запускайте с уже работающим конфигом.
Сохраняйте чекпойнты каждые 30–60 минут и сразу выгружайте их в хранилище. Чекпойнт полного дообучения 7B с состояниями оптимизатора весит около 100 ГБ, а у 70B переваливает за терабайт, поэтому заранее рассчитайте диск сервера и канал до хранилища.
Частые ошибки первого запуска
Сразу большая модель и полный датасет. Ошибка в формате данных или токенизаторе обнаружится через час, и этот час на восьми картах стоит дорого. Сначала прогоните весь конвейер на модели 0,5–1,5B и сотне примеров: на одной недорогой карте это займёт несколько минут.
Недооценённый диск. Веса базовой модели, датасет, чекпойнты с состояниями оптимизатора и кэш библиотек быстро занимают сотни гигабайт. Если место кончится посреди сохранения, чекпойнт окажется битым. Для 7B закладывайте от 500 ГБ, для 70B нужно несколько терабайт.
Слишком высокая скорость обучения. При полном дообучении меняются все веса, и типичные для LoRA значения learning rate здесь слишком велики. Модель быстро «забывает» исходные навыки. Начинайте с 1·10⁻⁵ — 2·10⁻⁵ для моделей 7–14B и меньше для крупных, с прогревом в первые сотни шагов.
Нет отложенной выборки. Без проверки на примерах, которых модель не видела, легко пропустить переобучение: функция потерь на обучающих данных падает, а качество ответов ухудшается. Отложите 2–5% датасета и оценивайте модель после каждой эпохи.
Обучение без сравнения с LoRA. Прежде чем платить за узел из восьми карт, сравните результат с LoRA на тех же данных. Если разница в качестве не видна на ваших тестах, полное дообучение не нужно.
Простой между этапами. Пока вы разбираете результаты эпохи, восемь карт продолжают списывать деньги. Выгрузите чекпойнт и остановите сервер: продолжить с того же места можно в любой момент.
Полное дообучение LLM упирается в память: 16 байт на параметр, то есть 112 ГБ для 7B и около 1,1 ТБ для 70B. Модели до 14B обучаются на 2–4 H100, 32B — на восьми, 70B — на узле из восьми B200. По времени для типового датасета на 300 млн токенов это часы, а не дни, и счёт измеряется тысячами рублей, а не сотнями тысяч. Если нужно поменять формат и стиль, начните с LoRA: она в разы дешевле.
Посчитайте GPU-часы для своего датасета по формуле выше и запустите конфигурацию на аренде H100.