19 октября 2026 г. · Анатолий Крылов, редактор Тераферма
RTX A6000 для LLM: как запустить модель 70B в 4 битах на одной карте с 48 ГБ
RTX A6000 на 48 ГБ запускает языковую модель на 70 млрд параметров в 4-битном квантовании целиком в видеопамяти, без деления на несколько карт. Веса Llama 3.3 70B в формате Q4_K_M занимают около 42,5 ГБ, в AWQ — около 40 ГБ, ещё 4–7 ГБ остаётся под контекст. Скорость выходит 11–15 токенов в секунду, аренда стоит 66 ₽ в час, рабочий день — 528 ₽.
Почему 48 ГБ — граница для моделей 70B
Объём памяти под веса считается просто: число параметров × бит на параметр ÷ 8. Для 70 млрд параметров:
| Формат | Бит на параметр | Веса 70B | Помещается в 48 ГБ |
|---|---|---|---|
| FP16 / BF16 | 16 | ~140 ГБ | Нет |
| FP8 / Q8 | 8 | ~70 ГБ | Нет |
| Q5_K_M | ~5,7 | ~50 ГБ | Нет |
| Q4_K_M | ~4,8 | ~42,5 ГБ | Да, контекст 8–12 тыс. токенов |
| AWQ / GPTQ 4 бита | ~4,5 | ~40 ГБ | Да, контекст 12–16 тыс. токенов |
| IQ4_XS | ~4,3 | ~38 ГБ | Да, с запасом |
| Q3_K_M | ~3,9 | ~34 ГБ | Да, но качество заметно падает |
Видно, что 48 ГБ оказываются минимальным объёмом одной карты, в который 70B входит в приемлемом качестве. На 24 ГБ модель придётся резать до 2–3 бит или выгружать часть слоёв в оперативную память, и скорость упадёт до единиц токенов в секунду. На 32 ГБ у RTX 5090 тоже не хватает: Q4 весит больше 40 ГБ.
По характеристикам A6000 относится к Ampere 2020 года: 48 ГБ GDDR6 с ECC, 768 ГБ/с, около 155 TFLOPS в FP16 на тензорных ядрах и TDP 300 Вт. Карта старая, но для инференса больших моделей объём важнее поколения. Сравнить её с другими картами того же объёма можно на странице видеокарт с 48 ГБ.
Сколько контекста остаётся после весов
Кроме весов, модель держит в памяти KV-кэш, то есть ключи и значения для каждого токена диалога. Для Llama 3 70B формула такая:
KV на токен = 2 × слоёв × KV-голов × размер головы × байт = 2 × 80 × 8 × 128 × 2 ≈ 0,33 МБ
То есть каждые 1 000 токенов контекста в 16-битном кэше занимают около 330 МБ. Ещё около 1–1,5 ГБ уходит на служебные буферы CUDA и вычисления.
| Веса | Свободно под кэш | Контекст при кэше FP16 | Контекст при кэше 8 бит |
|---|---|---|---|
| Q4_K_M, 42,5 ГБ | ~4 ГБ | ~12 тыс. токенов | ~24 тыс. токенов |
| AWQ, 40 ГБ | ~6,5 ГБ | ~19 тыс. токенов | ~38 тыс. токенов |
| IQ4_XS, 38 ГБ | ~8,5 ГБ | ~25 тыс. токенов | ~50 тыс. токенов |
Это потолок для одного диалога. Если запросов несколько одновременно, контекст делится между ними. Отсюда практическое правило: на A6000 модель 70B обслуживает одного-двух пользователей с контекстом 8–16 тысяч токенов. Для длинных документов на 100 тысяч токенов нужна карта с 80 ГБ и больше.
Квантование кэша до 8 бит удваивает контекст почти без потери качества. В llama.cpp это флаги --cache-type-k q8_0 --cache-type-v q8_0, в vLLM — --kv-cache-dtype fp8 (на Ampere он работает, но без аппаратного ускорения).
Скорость: чего ждать от 768 ГБ/с
Генерация текста упирается в пропускную способность памяти: на каждый токен карта читает все веса. Грубая оценка:
потолок, ток/с = пропускная способность ÷ размер весов = 768 ГБ/с ÷ 40 ГБ ≈ 19
На практике выходит 11–15 токенов в секунду на один запрос: часть времени уходит на ядра CUDA и накладные расходы движка. Обработка входного текста (prefill) идёт быстрее, сотни токенов в секунду, поэтому длинный промпт в 5 000 токенов модель «прочитает» за 10–20 секунд.
Для сравнения, человек читает примерно 5–8 токенов в секунду. 13 токенов в секунду — это быстрее чтения, но медленнее, чем в ChatGPT. Как скорость зависит от модели и карты, разобрано в статье про скорость генерации токенов.
Сколько стоит миллион токенов
При 13 токенах в секунду миллион токенов ответа генерируется за 1 000 000 ÷ 13 ≈ 76 900 секунд, то есть около 21,4 часа. На A6000 это 1 412 ₽.
Это цена для одного потока. Если запускать несколько запросов параллельно через vLLM, суммарная выдача растёт в 2–4 раза, пока хватает памяти под кэш, и миллион токенов дешевеет пропорционально. Но на A6000 запаса памяти мало, поэтому для пакетной обработки 70B выгоднее карты на 80 ГБ.
RTX A6000 или другие способы получить 48 ГБ
Те же 48 ГБ можно собрать разными способами. Цены указаны на сегодня, они меняются вместе с рынком.
| Вариант | Память | Цена, ₽/час | Плюсы | Минусы |
|---|---|---|---|---|
| RTX A6000 | 48 ГБ | 66 | Одна карта, просто настроить | Ampere, 768 ГБ/с |
| L40 | 48 ГБ | 119 | Ada, FP8 | Та же скорость памяти |
| L40S | 48 ГБ | 97 | Быстрее в вычислениях | Дороже |
| 2× RTX 3090 | 2 × 24 ГБ | 52 | Часто дешевле за час | Модель делится между картами |
| 2× RTX 4090 | 2 × 24 ГБ | 96 | Быстрее на 30–40% | Дороже, нужна машина с двумя картами |
| A100 80 ГБ | 80 ГБ | 97 | Длинный контекст, 2 ТБ/с | Дороже A6000 |
Две RTX 3090 против одной A6000. Память та же, скорость каждой 3090 даже выше (936 ГБ/с), но модель режется на две части. В llama.cpp слои распределяются между картами, и они работают по очереди, поэтому выигрыша в скорости почти нет. В vLLM с tensor parallel карты работают одновременно, но обмениваются данными через PCIe без NVLink. В итоге получается примерно та же скорость, больше настроек и сложнее найти подходящую машину.
A100 против A6000. Если вам нужен длинный контекст или несколько пользователей одновременно, A100 с 80 ГБ и 2 ТБ/с даёт в 2,5 раза больше скорости и в 4–5 раз больше места под кэш. Тогда переплата за час окупается. Если же задача — диалог одного человека с моделью 70B, A6000 даёт тот же результат дешевле.
Как меняется счёт за 70B в разных конфигурациях за сутки и месяц, считали в статье сколько стоит держать LLM 70B онлайн.
Какие ещё модели хорошо работают на 48 ГБ
Модель 70B остаётся максимумом для A6000, но это не единственный сценарий. Часто выгоднее взять модель поменьше в лучшем качестве:
- Qwen3 32B в FP8 или Q8 занимает около 34 ГБ, остаётся 12 ГБ под контекст. Качество выше, чем у 70B в 3 битах, скорость — 20–25 токенов в секунду.
- Gemma 3 27B в Q8 весит около 29 ГБ, длинный контекст с запасом.
- gpt-oss-20b занимает около 14 ГБ, на A6000 работает быстро и оставляет память под много параллельных запросов.
- Llama 3.3 70B, Qwen2.5 72B в Q4 дают максимум знаний на одной карте. Qwen 72B в Q4_K_M весит около 47 ГБ и почти не оставляет места под контекст, для него лучше IQ4_XS.
- QLoRA-дообучение моделей 13–32B. 48 ГБ хватает на 4-битные веса 32B, адаптер и активации при батче 1–2.
Правило выбора простое: если ответы 32B-модели вас устраивают, берите её: она быстрее и оставляет память под контекст. 70B нужна, когда важны знания и рассуждения, а 32B ошибается.
Как запустить 70B на арендованной A6000
Короче всего путь через llama.cpp или Ollama с готовым GGUF-файлом.
- Арендуйте машину с RTX A6000 в каталоге аренды RTX A6000. Проверьте в карточке, что диск не меньше 100 ГБ и оперативной памяти от 64 ГБ: модель сначала читается с диска в ОЗУ.
- Подключитесь через Jupyter или SSH и проверьте карту:
nvidia-smiдолжен показать 48 ГБ. - Скачайте модель с Hugging Face прямо на сервер. Файл на 42 ГБ при канале 1 Гбит/с качается 6–8 минут.
- Запустите сервер llama.cpp:
./llama-server -m Llama-3.3-70B-Instruct-Q4_K_M.gguf \
-ngl 99 -c 16384 -fa \
--cache-type-k q8_0 --cache-type-v q8_0 \
--host 0.0.0.0 --port 8080Флаг -ngl 99 загружает все слои в видеопамять, -c 16384 задаёт контекст, -fa включает Flash Attention. Сервер отвечает по OpenAI-совместимому API на порту 8080, открыть его на своём компьютере можно через SSH-туннель.
Для vLLM берите AWQ-версию модели и ограничьте контекст: vllm serve <модель-AWQ> --max-model-len 16384 --gpu-memory-utilization 0.95. Без ограничения vLLM попытается выделить кэш под полный контекст модели и не запустится.
Что проверить в первые 10 минут
nvidia-smiво время генерации: занято 45–47 ГБ, загрузка карты высокая. Если памяти занято меньше 40 ГБ, часть слоёв осталась в ОЗУ, проверьте-ngl.- Скорость в логе llama.cpp: строка
eval timeпоказывает токены в секунду. Ниже 8 — что-то не так с выгрузкой или контекстом. - Длина контекста: отправьте длинный документ и посмотрите, не упадёт ли сервер по нехватке памяти. Если падает — уменьшайте
-cили переходите на IQ4_XS.
Когда A6000 не подходит
У карты есть ограничения, о которых лучше знать до аренды.
- Нет FP8 на тензорных ядрах. Ampere не ускоряет 8-битные форматы аппаратно, поэтому FP8-версии моделей на A6000 работают, но без выигрыша в скорости. Для FP8 нужны Ada, Hopper или Blackwell: L40S, H100, RTX 5090.
- Сервис с очередью пользователей. Десять одновременных диалогов с моделью 70B на 48 ГБ не поместятся: кэш каждого займёт 2–5 ГБ. Здесь нужна карта на 80 ГБ или несколько карт.
- Длинные документы. Договор на 50 страниц тянет на 30–40 тысяч токенов. Даже с 8-битным кэшем на A6000 это предел для Q4_K_M, и любой запас пропадает.
- Обучение с нуля и полное дообучение. Для этого 48 ГБ мало при любых настройках, нужны кластеры из H100.
Если ваш сценарий попадает в этот список, начните сразу с A100 или H100: так выйдет дешевле, чем неделю бороться с нехваткой памяти.
Сколько стоит работа с 70B на A6000
Оплата поминутная, поэтому считать удобно по часам реальной работы.
| Сценарий | Часов | Стоимость |
|---|---|---|
| Проверить модель на своих задачах | 2 | 132 ₽ |
| Рабочий день с ассистентом | 8 | 528 ₽ |
| Месяц по будням, 8 часов в день | 176 | 11 616 ₽ |
| Сервер 24/7 месяц | 720 | 47 520 ₽ |
Пополнить баланс можно от 500 ₽ криптовалютой (USDT, BTC и другие монеты), оплата картой РФ и счёт для юрлиц — скоро. Деньги списываются только пока сервер запущен. После остановки диск удаляется, поэтому скачанную модель между сессиями лучше не хранить на сервере: её проще скачать заново, чем платить за простой.
RTX A6000 даёт самый простой способ запустить модель 70B на одной карте: 4-битные веса занимают 40–42,5 ГБ, ещё 4–7 ГБ остаётся под контекст 8–16 тысяч токенов, скорость — 11–15 токенов в секунду. Это подходит для личного ассистента, проверки модели перед покупкой железа и работы с документами средней длины. Для длинного контекста и нескольких пользователей берите карту на 80 ГБ.
Начните с двухчасового теста на своих промптах: арендуйте RTX A6000 и сравните ответы 70B и 32B, прежде чем решать, какая модель вам нужна.