18 ноября 2026 г. · Анатолий Крылов, редактор Терафермы
GRPO и RL-дообучение: как научить LLM рассуждать на арендованных GPU
GRPO-обучение учит языковую модель рассуждать через пробы и награды: на каждый вопрос она пишет несколько ответов, функция награды их оценивает, и модель смещается к лучшим. Для модели 7B это от 15 ГБ видеопамяти с QLoRA и порядка 2 часов H100 на 500 шагов, то есть около 554–658 ₽ на Тераферме. Метод стал массовым после DeepSeek-R1, а библиотеки TRL и Unsloth сделали его доступным на одной арендованной карте.
Как работает GRPO
GRPO (Group Relative Policy Optimization) предложили исследователи DeepSeek в 2024 году, а в 2025-м на нём обучили рассуждения DeepSeek-R1. Схема одного шага:
- Берём пакет вопросов, например 8 задач.
- На каждый вопрос модель генерирует группу ответов, например 8 вариантов.
- Функция награды выставляет каждому ответу балл.
- Для каждого ответа считаем, насколько он лучше или хуже среднего в своей группе.
- Обновляем модель: ответы выше среднего становятся вероятнее, ниже — менее вероятными.
Главное отличие от PPO в том, что нет отдельной модели-критика, которая оценивает ожидаемую награду. Её роль играет среднее по группе. Это экономит память и упрощает настройку: в памяти только обучаемая модель и, опционально, её замороженная копия для ограничения отклонения.
Почему это учит рассуждать. Если награда даётся только за правильный ответ, модель сама обнаруживает, что длинные пошаговые рассуждения чаще приводят к верному результату. Длина ответов растёт, появляются проверки и самоисправления, причём без единого примера «правильного рассуждения» в данных.
Где GRPO работает, а где нет
GRPO силён там, где правильность ответа можно проверить программой.
| Задача | Как считать награду | Подходит |
|---|---|---|
| Математика | Сравнение ответа с эталоном | Да |
| Код | Запуск тестов | Да |
| SQL | Выполнение запроса и сравнение результата | Да |
| Извлечение данных в JSON | Валидация схемы и сравнение полей | Да |
| Классификация обращений | Совпадение с меткой | Да |
| Свободный текст, стиль, тон | Модель-судья | С оговорками |
Для свободного текста приходится оценивать ответы другой моделью. Это дороже (судья тоже работает на GPU) и менее надёжно: обучаемая модель учится угождать судье, а не решать задачу. Для таких задач сначала попробуйте обычное дообучение на примерах: порядок работы описан в статье дообучение LoRA на арендованной GPU.
GRPO или обычное дообучение
Обычное дообучение (SFT) показывает модели готовые правильные ответы и учит их повторять. GRPO не показывает ответов вообще, а только оценивает то, что модель написала сама.
| SFT (LoRA, полное дообучение) | GRPO | |
|---|---|---|
| Что нужно в данных | Вопрос + эталонный ответ целиком | Вопрос + способ проверить ответ |
| Чему учит | Стилю, формату, знаниям из примеров | Стратегии решения, рассуждениям |
| Стоимость шага | Один прямой и обратный проход | Генерация группы ответов + обучение |
| Риск | Модель копирует ошибки в примерах | Модель обманывает награду |
На практике их совмещают: сначала короткий SFT на нескольких сотнях примеров, чтобы модель выучила формат ответа, затем GRPO, чтобы она научилась решать. Так делали и в DeepSeek-R1.
Чем запускать
- TRL от Hugging Face даёт класс
GRPOTrainerи интеграцию с vLLM для быстрой генерации. Стандартный выбор для одной карты и небольших узлов. - Unsloth добавляет экономию памяти и готовые ноутбуки GRPO для Qwen, Llama и Gemma. Лучший вариант для одной карты на 16–32 ГБ.
- verl и OpenRLHF рассчитаны на распределённый RL на нескольких картах и узлах. Нужны, когда модель 32B и больше.
Как писать функции награды
Награда — сердце GRPO. Обычно складывают несколько простых функций:
- Правильность. 1 балл за верный ответ, 0 — за неверный. Главная функция.
- Формат. 0,2–0,5 балла, если рассуждение внутри тегов
<think>, а ответ — в отдельном блоке. Без этого ответ трудно извлечь. - Частичная правильность. Для кода — доля пройденных тестов, для JSON — доля верных полей.
- Штраф за длину. Небольшой минус за ответы сверх лимита, иначе рассуждения растут до бесконечности и съедают время генерации.
Пример функции на Python для TRL:
def correctness_reward(completions, answer, **kwargs):
rewards = []
for c, a in zip(completions, answer):
text = c[0]["content"]
got = text.split("<answer>")[-1].split("</answer>")[0].strip()
rewards.append(1.0 if got == str(a) else 0.0)
return rewards
Главная ошибка: награда, которую можно обмануть. Если за формат дают больше, чем за правильность, модель научится идеально оформлять неверные ответы. Проверяйте вручную по 20–30 ответов каждые сотню шагов.
Какая GPU нужна
Особенность GRPO в том, что модель не только обучается, но и много генерирует. Поэтому в памяти живут обучаемая модель и движок генерации, обычно vLLM.
| Модель | Режим | Минимум памяти | Что арендовать | Цена, ₽/час |
|---|---|---|---|---|
| 1,5–3B | LoRA | от 7–12 ГБ | RTX 3090 / RTX 4090 | 34 / 54 |
| 7–8B | QLoRA (Unsloth) | ~15 ГБ | RTX 4090 / RTX 5090 | 54 / 67 |
| 7–8B | LoRA в BF16 + vLLM | 40–80 ГБ | A100 80 ГБ / H100 | 154 / 277–329 |
| 14B | QLoRA или LoRA | 24–80 ГБ | RTX 5090 / H100 | 67 / 277–329 |
| 32B | LoRA | 2–4 × 80 ГБ | 2–4 × H100 или H200 | — |
| 70B | LoRA, распределённо | 8 × 80 ГБ | 8 × H100 или B200 | — |
Цифры памяти для QLoRA взяты из данных Unsloth: до 15B в 15 ГБ, от 7 ГБ для маленьких моделей. Они растут с длиной контекста и числом ответов в группе: тот же Unsloth приводит пример, где Llama 3.1 8B с контекстом 20 тыс. токенов и 8 ответами на вопрос заняла 54 ГБ.
Практичный выбор:
- Учиться и пробовать лучше на модели 1,5–3B, взяв RTX 4090. Эффект рассуждений виден уже на маленьких моделях.
- Рабочая модель 7–8B требует RTX 4090 или RTX 5090 с Unsloth, либо одну H100, если нужна скорость и BF16.
- 14B и больше требуют H100 и выше. Полное дообучение и распределённые конфигурации разобраны в статье полное дообучение LLM: сколько GPU нужно.
Сколько стоит: формула и пример
Основное время уходит на генерацию, а не на обратный проход. Оценка:
токенов за шаг = вопросов в пакете × ответов в группе × средняя длина ответа
время шага ≈ токенов за шаг ÷ скорость генерации + время обучения на шаг
стоимость = цена часа × число шагов × время шага ÷ 3600
Пример для 7B на H100. Пакет из 8 вопросов, группа из 8 ответов, средняя длина 500 токенов. За шаг выходит 32 000 токенов. vLLM на H100 при таком пакете выдаёт для 7B порядка нескольких тысяч токенов в секунду, возьмём 3 000. Генерация — около 11 секунд, обучение — ещё несколько. Итого около 15 секунд на шаг.
| Шагов | Время на H100 | Стоимость на H100 | RTX 4090 + QLoRA (в ~2,5 раза дольше) |
|---|---|---|---|
| 300 | ~1,25 ч | 346–411 ₽ | ~3 ч, 162 ₽ |
| 500 | ~2 ч | 554–658 ₽ | ~5 ч, 270 ₽ |
| 1 000 | ~4 ч | 1 108–1 316 ₽ | ~10 ч, 540 ₽ |
| 2 000 | ~8 ч | 2 216–2 632 ₽ | ~20 ч, 1 080 ₽ |
Это оценка. Если модель начнёт рассуждать длиннее (а при GRPO она почти всегда начинает), время шага растёт. Ставьте лимит длины ответа и следите за средней длиной в логах.
Сколько шагов нужно. Unsloth советует ждать хотя бы 300 шагов, прежде чем награда начнёт заметно расти. Для заметного эффекта на своих задачах закладывайте 500–2 000 шагов.
Порядок работы на арендованной GPU
- Соберите 500–5 000 задач с эталонными ответами. Больше разнообразия — лучше обобщение.
- Начните с модели, которая уже что-то умеет. GRPO усиливает существующие навыки. Если базовая модель решает 0% задач, награда всегда ноль и учиться не на чем. Хороший старт: 10–40% правильных ответов.
- Отладьте на маленькой модели. Скрипт, награды и формат проверьте на 1,5B за полчаса RTX 4090.
- Запустите сервер с шаблоном PyTorch + CUDA + Jupyter или своим Docker-образом с TRL, vLLM и Unsloth. Пополнение баланса картой российского банка или криптовалютой от 500 ₽, оплата поминутная.
- Включите логирование средней награды, длины ответов и доли правильных. Если награда растёт, а правильность нет, значит награду обманывают.
- Сохраняйте чекпойнты наружу каждые 100–200 шагов. Диск удаляется при остановке сервера.
- Оцените на отложенных задачах до и после. Сравнивайте не только точность, но и длину ответов: в продакшене длинные рассуждения стоят денег на каждом запросе.
Запускайте обучение внутри tmux, чтобы обрыв SSH не остановил процесс.
Частые ошибки
- Слишком сложные задачи. Если модель не решает ни одной, все ответы в группе получают ноль, и градиента нет.
- Слишком лёгкие задачи. Если все ответы правильные, разница со средним равна нулю. Учиться тоже не на чем. Убирайте из данных задачи, которые модель решает всегда.
- Награда за формат больше, чем за смысл. Модель оптимизирует то, за что платят.
- Нет лимита длины. Рассуждения растут, время генерации тоже, а с ним и счёт.
- Сразу большая модель на дорогой карте. Ошибки в наградах дешевле находить на 1,5B.
GRPO остаётся самым доступным способом научить LLM рассуждать на своих задачах: нужен набор вопросов с проверяемыми ответами и функция награды, а не тысячи примеров с готовыми рассуждениями. Модель 7B с QLoRA помещается в 15 ГБ, 500 шагов займут порядка 2 часов H100 или 5 часов RTX 4090. Главные риски: плохо написанная награда и неконтролируемая длина ответов.
Отладьте награды на маленькой модели, затем запустите полный прогон на H100 в аренду с поминутной оплатой.