Запуск нейросетей
vLLM на арендованной GPU
vLLM — движок для промышленного инференса LLM. Он обслуживает много запросов одновременно и отдаёт OpenAI-совместимый API, поэтому подходит для чат-ботов, RAG и сервисов с реальными пользователями. Самый дешёвый вариант на Тераферме — RTX 3060 за 12 ₽ в час.
Сколько памяти нужно и какую видеокарту взять
| Вариант | FP16 | 4 бита | Подходящая видеокарта | Цена, ₽/час |
|---|---|---|---|---|
| 8B в FP16 | 19 ГБ | 6 ГБ | RTX 3060 | 12 |
| 32B в AWQ (4 бита) | 74 ГБ | 23 ГБ | 2× RTX A4000 | 34 |
| 70B в AWQ (4 бита) | 161 ГБ | 49 ГБ | 4× RTX A4000 | 68 |
Расчёт: FP16 ≈ 2 ГБ на миллиард параметров, 4 бита ≈ 0,6 ГБ, плюс 15% на контекст. Подбор — самая дешёвая конфигурация, где хватает памяти.
Запуск по шагам
- Зарегистрируйтесь и пополните баланс от 500 ₽ (сейчас криптовалютой, оплата картой РФ — скоро)
- Выберите видеокарту на 6+ ГБ
- Запустите шаблон и выполните команды из блока ниже
- Работайте через SSH или Jupyter и остановите сервер после работы
Запуск сервера
pip install vllm
vllm serve Qwen/Qwen2.5-7B-Instruct --host 0.0.0.0 --port 8000
# API: http://<адрес>:8000/v1/chat/completions
Советы
- Параметр --max-model-len ограничивает контекст и экономит память.
- Для 70B на двух картах используйте --tensor-parallel-size 2.
Читайте также
Частые вопросы
Совместим ли vLLM с OpenAI SDK?
Да, достаточно указать base_url вашего сервера — код клиента менять не нужно.
Сервер будет готов через пару минут
Регистрация за минуту, пополнение от 500 ₽, оплата поминутно.