4 октября 2026 г. · Анатолий Крылов, редактор Тераферма
Как запустить DeepSeek R1 на арендованной GPU: инструкция
Запустить DeepSeek R1 на арендованной GPU проще всего через дистиллированные версии: R1-Distill-Qwen-32B в 4 битах помещается на RTX 3090 или RTX 4090 (22–48 ₽/час) и запускается одной командой в Ollama. Полная модель на 671 млрд параметров требует около 700 ГБ видеопамяти в FP8, то есть сервер из восьми H200.
Полная R1 и дистилляты: в чём разница
DeepSeek R1 относится к рассуждающим моделям архитектуры Mixture of Experts. Всего в ней 671 млрд параметров, из которых на каждый токен активно около 37 млрд. Генерирует она быстро для своего размера, но загрузить в память нужно все параметры.
Вместе с R1 разработчики выпустили дистилляты: небольшие модели, обученные на рассуждениях большой R1. Они построены на базе Qwen 2.5 и Llama 3:
- R1-Distill-Qwen-1.5B, 7B, 14B, 32B;
- R1-Distill-Llama-8B и 70B.
Позже вышло обновление R1-0528 и дистиллят на базе Qwen3-8B. Дистилляты заметно уступают полной модели, но 32B и 70B уже хорошо справляются с математикой, кодом и задачами на логику. Для большинства прикладных сценариев начинать стоит с них.
Сколько памяти нужно и какую GPU выбрать
Оценка: в 16 битах — около 2 ГБ на миллиард параметров, в 4 битах — около 0,6 ГБ. Для рассуждающих моделей закладывайте больший запас под контекст, чем обычно: цепочка рассуждений легко занимает 4–16 тысяч токенов.
| Версия | Точность | Память под веса | Подходящая карта | Цена, ₽/час |
|---|---|---|---|---|
| Distill-Qwen-7B / Llama-8B | 4 бита | ~5 ГБ | RTX 3060 12 ГБ | 10 |
| Distill-Qwen-7B / Llama-8B | BF16 | ~16 ГБ | RTX 3090 / RTX 4090 | 22 / 44 |
| Distill-Qwen-14B | 4 бита | ~9 ГБ | RTX 4060 Ti 16 ГБ | 15 |
| Distill-Qwen-14B | BF16 | ~30 ГБ | RTX 5090 32 ГБ | 70 |
| Distill-Qwen-32B | 4 бита | ~20 ГБ | RTX 3090 / RTX 4090 | 22 / 44 |
| Distill-Qwen-32B | BF16 | ~65 ГБ | A100 80 ГБ / H100 | 102 / 255 |
| Distill-Llama-70B | 4 бита | ~42 ГБ | RTX A6000 / A100 | 60 / 102 |
| R1 671B | FP8 | ~700 ГБ | 8 × H200 | 4 272 |
| R1 671B | ~1,6–2 бита (динамическая) | ~130–200 ГБ | 2 × H200 / RTX PRO 6000 ×2 | от 356 |
Отдельно о дистилляте на базе Qwen3-8B из обновления R1-0528. При размере 8B он заметно сильнее старых маленьких дистиллятов в математике и задачах на рассуждение, а в 4 битах помещается даже на RTX 3060. Если бюджет ограничен или нужна быстрая модель для простых рассуждений, начните с него.
Сильно квантизованная полная R1 остаётся компромиссом. Она работает, но качество ниже, чем в FP8, а настройка сложнее. Для продакшена честнее сравнить её с 70B-дистиллятом на своих задачах.
Если сомневаетесь в расчёте, сверьтесь со статьёй сколько видеопамяти нужно для LLM.
Запуск через Ollama и vLLM
Быстрый запуск через Ollama
Ollama даёт самый короткий путь к работающей модели. Подходит для тестов и личного использования.
- Арендуйте сервер с RTX 4090 или RTX 3090 и подключитесь по SSH.
- Установите Ollama:
curl -fsSL https://ollama.com/install.sh | sh- Запустите нужную версию:
ollama run deepseek-r1:32bOllama скачает 4-битную версию (около 20 ГБ) и откроет диалог в терминале. Доступны также теги 1.5b, 7b, 8b, 14b и 70b. Модель отвечает и по HTTP API на порту 11434.
Скачивание 20 ГБ на хорошем канале занимает несколько минут. Задайте при создании сервера диск не меньше 60–80 ГБ, а для 70B — от 120 ГБ.
Продакшен-запуск через vLLM
Если к модели будут обращаться несколько пользователей или сервисов, используйте vLLM: он обрабатывает параллельные запросы гораздо эффективнее.
Запуск 32B-дистиллята в BF16 на одной A100 80 ГБ:
pip install vllm
vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \
--max-model-len 32768 \
--gpu-memory-utilization 0.92 \
--reasoning-parser deepseek_r1Параметр --max-model-len 32768 даёт модели место для длинных рассуждений. Если памяти не хватает, сначала уменьшайте именно его, а не точность весов: потеря длины контекста для большинства задач менее болезненна, чем переход на агрессивную квантизацию.
Флаг --reasoning-parser отделяет рассуждение от финального ответа в ответе API, это удобно для интеграции. На двух картах добавьте --tensor-parallel-size 2.
Для 4-битной версии на карте с 24 ГБ используйте AWQ- или GPTQ-квантизацию из репозиториев сообщества и уменьшите --max-model-len до 8–16 тысяч, чтобы хватило памяти под KV-кеш.
Подключиться к API со своего компьютера можно через SSH-туннель: ssh -L 8000:localhost:8000 user@адрес-сервера. Связка vLLM и OpenAI-совместимого API подробно разобрана в статье как запустить Llama на арендованной GPU, шаги там те же.
Настройки, которые влияют на качество
R1 и дистилляты чувствительны к параметрам генерации. Разработчики дают такие рекомендации:
- Температура 0,5–0,7, оптимально 0,6. При нулевой температуре модель может зацикливаться и повторять фразы.
- Без системного промпта. Все инструкции лучше писать в сообщении пользователя.
- Для математики попросите в запросе рассуждать пошагово и выделить итоговый ответ.
- Большой лимит токенов. Рассуждение может занимать несколько тысяч токенов. Если ограничить ответ 512 токенами, модель оборвётся на середине мысли.
Из последнего пункта следует практический вывод: для R1 скорость генерации важнее, чем для обычных моделей. Ответ на 3 000 токенов при 30 токенах в секунду означает 100 секунд ожидания. Как оценить скорость заранее, рассказано в статье скорость генерации токенов.
Типичные проблемы и как их решить
Нехватка памяти при запуске (CUDA out of memory). Чаще всего виноват не размер весов, а KV-кеш. vLLM по умолчанию резервирует память под максимальную длину контекста модели. Уменьшите --max-model-len до 8 000–16 000 токенов или снизьте --gpu-memory-utilization, если на карте работает что-то ещё.
Ответ обрывается на середине рассуждения. Увеличьте лимит max_tokens в запросе. Для задач на логику и математику закладывайте 4 000–8 000 токенов, для простых вопросов хватит 2 000.
Модель повторяет одну фразу по кругу. Обычно это следствие слишком низкой температуры или жадного декодирования. Поставьте температуру 0,6 и top_p около 0,95.
Модель переходит на другой язык. Дистилляты на базе Qwen иногда начинают рассуждать на китайском или английском. Помогает прямая просьба в запросе отвечать и рассуждать на русском. Для пользователя важен в первую очередь финальный ответ, а его модель обычно даёт на языке вопроса.
Медленная генерация на 70B. На RTX A6000 модель 70B в 4 битах выдаёт около 10–15 токенов в секунду, и ответ с длинным рассуждением идёт минутами. Если скорость критична, переходите на A100 или H100: пропускная способность их памяти в 2,5–4 раза выше.
Долгое скачивание модели. Веса 70B в 4 битах — около 40 ГБ, в BF16 — около 140 ГБ. Скачивайте модель один раз на диск сервера и не удаляйте её между сессиями, если планируете продолжить работу.
Когда нужна полная R1, а когда хватит дистиллята
Полная R1 заметно сильнее дистиллятов в сложной математике, длинных цепочках рассуждений и программировании нетривиальных задач. Но и стоит её запуск на порядок дороже: восемь H200 стоят 4 272 ₽ в час против 22–102 ₽ за дистилляты.
Дистиллята достаточно, если задача — ответы на вопросы по документам, классификация, извлечение данных, генерация типового кода или помощь в рассуждениях средней сложности. Полную модель стоит рассматривать, если вы строите сервис, где качество рассуждения — главное конкурентное преимущество, и нагрузка позволяет разделить стоимость сервера между многими пользователями.
Промежуточный вариант — запустить полную модель на пару часов для сравнения. Прогоните на ней тот же набор запросов, что и на 32B и 70B, и посмотрите, где разница принципиальна. Такой тест на восьми H200 обойдётся примерно в 8–9 тысяч рублей и даст ответ, нужна ли вам большая модель вообще. Часто оказывается, что дистиллят справляется с большей частью задач, а оставшиеся можно закрыть улучшением промпта или RAG.
Сколько это стоит на практике
Несколько типичных сценариев с тарифами Терафермы:
| Сценарий | Карта | Время | Стоимость |
|---|---|---|---|
| Попробовать 7B и 32B, сравнить ответы | RTX 4090 | 1 час | 48 ₽ |
| Рабочий день с 32B для команды | RTX 3090 | 8 часов | 208 ₽ |
| Тест 70B-дистиллята на своих задачах | A100 | 3 часа | 291 ₽ |
| Месяц сервиса на 32B, 12 ч/день | RTX 4090 | 360 часов | 17 280 ₽ |
| Эксперимент с полной R1 в FP8 | 8 × H200 | 2 часа | 8 544 ₽ |
Оплата поминутная, поэтому короткий эксперимент с дорогой конфигурацией стоит ровно столько минут, сколько длился. Не забудьте остановить сервер после теста.
С чего начать
Порядок, который экономит время и деньги:
- Начните с R1-Distill-Qwen-32B в Ollama на RTX 3090 или RTX 4090.
- Прогоните 20–30 запросов из своей задачи.
- Если качества не хватает — попробуйте Llama-70B на A100.
- Полную R1 запускайте, только если дистилляты не справляются, и сначала оцените стоимость часа.
Готовые шаблоны и команды собраны на странице запуска DeepSeek, а для полной модели посмотрите конфигурации на H200.