Запуск нейросетей
Как запустить Qwen на арендованной GPU
Qwen от Alibaba — одна из сильнейших открытых моделей с хорошим русским языком. Особенно популярна версия 32B: качество близко к большим моделям, а запуск помещается на одну карту на 24 ГБ. Самый дешёвый вариант на Тераферме — RTX 3060 за 12 ₽ в час.
Сколько памяти нужно и какую видеокарту взять
| Вариант | FP16 | 4 бита | Подходящая видеокарта | Цена, ₽/час |
|---|---|---|---|---|
| Qwen 2.5 7B | 17 ГБ | 5 ГБ | RTX 3060 | 12 |
| 2.5 14B | 33 ГБ | 10 ГБ | RTX 3060 | 12 |
| 2.5 32B | 74 ГБ | 23 ГБ | 2× RTX A4000 | 34 |
| 2.5 72B | 166 ГБ | 50 ГБ | 4× RTX A4000 | 68 |
Расчёт: FP16 ≈ 2 ГБ на миллиард параметров, 4 бита ≈ 0,6 ГБ, плюс 15% на контекст. Подбор — самая дешёвая конфигурация, где хватает памяти.
Запуск по шагам
- Зарегистрируйтесь и пополните баланс от 500 ₽ (сейчас криптовалютой, оплата картой РФ — скоро)
- Выберите видеокарту на 5+ ГБ
- Запустите шаблон и выполните команды из блока ниже
- Работайте через SSH или Jupyter и остановите сервер после работы
Через Ollama (проще всего)
curl -fsSL https://ollama.com/install.sh | sh
ollama run qwen2.5:32b
Через vLLM
pip install vllm
vllm serve Qwen/Qwen2.5-32B-Instruct-AWQ --quantization awq
Советы
- Qwen 2.5 Coder — отдельная ветка для программирования, размеры те же.
- AWQ-версии от авторов уже квантованы в 4 бита и сразу запускаются в vLLM.
- Для русскоязычного чат-бота 14B часто хватает с запасом.
Читайте также
Частые вопросы
Какая видеокарта нужна для Qwen 32B?
В 4 битах — около 22 ГБ, поэтому подойдёт RTX 3090, 4090 или 5090.
Хорошо ли модель понимает русский?
Да, версия 2.5 — одна из лучших открытых моделей для русского языка в своём классе.
Сервер будет готов через пару минут
Регистрация за минуту, пополнение от 500 ₽, оплата поминутно.