Как запустить Llama на арендованной GPU
Llama — семейство открытых моделей Meta. Версия 8B работает на любой карте от 12 ГБ, 70B — флагман для своих ассистентов и RAG, а 405B нужна, когда важно максимальное качество. Самый дешёвый вариант на Тераферме — RTX 3060 за 12 ₽ в час.
Сколько памяти нужно и какую видеокарту взять
| Вариант | FP16 | 4 бита | Подходящая видеокарта | Цена, ₽/час |
|---|---|---|---|---|
| Llama 3.2 3B | 7 ГБ | 3 ГБ | RTX 3060 | 12 |
| 3.1 8B | 19 ГБ | 6 ГБ | RTX 3060 | 12 |
| 3.3 70B | 161 ГБ | 49 ГБ | 4× RTX A4000 | 68 |
| 3.1 405B | 932 ГБ | 280 ГБ | 4× A100 | 388 |
Расчёт: FP16 ≈ 2 ГБ на миллиард параметров, 4 бита ≈ 0,6 ГБ, плюс 15% на контекст. Подбор — самая дешёвая конфигурация, где хватает памяти.
Запуск по шагам
- Зарегистрируйтесь и пополните баланс от 500 ₽ (сейчас криптовалютой, оплата картой РФ — скоро)
- Выберите видеокарту на 3+ ГБ
- Запустите шаблон и выполните команды из блока ниже
- Работайте через SSH или Jupyter и остановите сервер после работы
Через Ollama (проще всего)
Через vLLM
Советы
- Для веб-сервиса с десятками пользователей используйте vLLM — он обслуживает запросы пакетами и выжимает максимум из карты.
- Версия 3.3 70B в 4 битах помещается в 48 ГБ — одна RTX A6000 дешевле двух 4090.
- Для дообучения 8B хватит QLoRA на 16–24 ГБ.
Читайте также
Частые вопросы
Сколько памяти нужно для Llama 3.1 8B?
Около 19 ГБ в FP16 и 6 ГБ в 4-битной квантизации с запасом на контекст. Комфортно — RTX 3090 или 4090.
Какую видеокарту взять для версии 70B?
В 4 битах — 48 ГБ: RTX A6000, L40S или две карты по 24 ГБ. В FP16 — около 160 ГБ: 2× H100 или H200.
Нужна ли отдельная лицензия?
Модели распространяются по лицензии Meta: коммерческое использование разрешено с ограничениями для очень крупных сервисов. Прочитайте условия на странице модели.
Сервер будет готов через пару минут
Регистрация за минуту, пополнение от 500 ₽, оплата поминутно.