Логотип Тераферма Тераферма Регистрация
Меню
Бесплатный инструмент

VRAM-калькулятор для нейросетей

Укажите размер модели, точность весов, длину контекста и задачу — калькулятор покажет, сколько видеопамяти понадобится и какие видеокарты подойдут, с ценой за час.

Калькулятор, чип памяти и шкала: расчёт видеопамяти для LLM
Например: 8 для Llama 3.1 8B, 32 для Qwen 2.5 32B, 70 для Llama 3.3 70B.

Нужно видеопамяти

—
Веса модели
—
Контекст (KV-кэш)
—
Служебное
—

Подойдут

    Оценка приблизительная: реальный расход зависит от архитектуры модели, движка (vLLM, llama.cpp, transformers) и размера батча.

    Вопросы о видеопамяти

    Как посчитать, сколько видеопамяти нужно для LLM?

    Умножьте число параметров в миллиардах на размер одного веса: 2 байта в FP16, 1 байт в 8 битах, около 0,6 байта в 4 битах. Добавьте память на контекст (KV-кэш) и 10–15% на служебные буферы.

    Что такое KV-кэш?

    Память, в которой модель хранит уже обработанный контекст. Она растёт с длиной контекста и числом одновременных запросов, поэтому длинные диалоги требуют больше памяти.

    Сколько памяти нужно для дообучения?

    LoRA добавляет 20–40% к памяти инференса, QLoRA позволяет дообучать в 4 битах. Полное дообучение требует в 3–4 раза больше памяти, чем инференс в FP16.