Запуск нейросетей
Ollama на арендованной GPU
Ollama — самый простой способ запустить открытую языковую модель: одна команда, и она отвечает в терминале или по API на порту 11434. Подходит для экспериментов, личных ассистентов и небольших сервисов. Самый дешёвый вариант на Тераферме — RTX 3060 за 12 ₽ в час.
Сколько памяти нужно и какую видеокарту взять
| Вариант | FP16 | 4 бита | Подходящая видеокарта | Цена, ₽/час |
|---|---|---|---|---|
| До 8B | 19 ГБ | 6 ГБ | RTX 3060 | 12 |
| 14B | 33 ГБ | 10 ГБ | RTX 3060 | 12 |
| 32B | 74 ГБ | 23 ГБ | 2× RTX A4000 | 34 |
| 70B | 161 ГБ | 49 ГБ | 4× RTX A4000 | 68 |
Расчёт: FP16 ≈ 2 ГБ на миллиард параметров, 4 бита ≈ 0,6 ГБ, плюс 15% на контекст. Подбор — самая дешёвая конфигурация, где хватает памяти.
Запуск по шагам
- Зарегистрируйтесь и пополните баланс от 500 ₽ (сейчас криптовалютой, оплата картой РФ — скоро)
- Выберите видеокарту на 6+ ГБ
- Запустите шаблон и выполните команды из блока ниже
- Работайте через SSH или Jupyter и остановите сервер после работы
Установка и запуск
curl -fsSL https://ollama.com/install.sh | sh
OLLAMA_HOST=0.0.0.0 ollama serve &
ollama run qwen2.5:14b
Советы
- По умолчанию ставятся 4-битные версии — память считайте по колонке «4 бита».
- Для нагрузки от десятков пользователей лучше vLLM.
Читайте также
Частые вопросы
Что запустить на карте с 24 ГБ?
Qwen 2.5 32B, DeepSeek R1 Distill 32B или Gemma 2 27B — все помещаются в 4 битах.
Сервер будет готов через пару минут
Регистрация за минуту, пополнение от 500 ₽, оплата поминутно.