14 октября 2026 г. · Анатолий Крылов, редактор Тераферма
RTX 4090 для нейросетей в 2026: что тянут 24 ГБ и где они упираются
RTX 4090 для нейросетей в 2026 году по-прежнему одна из самых практичных карт: 24 ГБ памяти, около 1 ТБ/с пропускной способности и аппаратная поддержка FP8. На ней работают языковые модели до 32B в 4 битах, Flux в FP8, обучение LoRA и QLoRA для моделей до 14B. Упирается она в память: модели 70B, полное дообучение и длинный контекст на крупных моделях в 24 ГБ не помещаются. Аренда стоит 48 ₽ в час.
Характеристики, которые важны для ИИ
Из всех параметров видеокарты для нейросетей решают три: объём памяти, её пропускная способность и производительность тензорных ядер. У 4090 по данным NVIDIA:
| Карта | Память | Пропускная способность | FP16 Tensor, TFLOPS | ₽/час |
|---|---|---|---|---|
| RTX 3090 | 24 ГБ GDDR6X | 936 ГБ/с | 71 | 26 |
| RTX 4090 | 24 ГБ GDDR6X | 1 008 ГБ/с | 165 | 48 |
| RTX 5090 | 32 ГБ GDDR7 | 1 792 ГБ/с | 210 | 83 |
| RTX A6000 | 48 ГБ GDDR6 | 768 ГБ/с | 155 | 66 |
| A100 80 ГБ | 80 ГБ HBM2e | 2 039 ГБ/с | 312 | 97 |
Что из этого следует:
- По памяти 4090 равна 3090. Если задача не помещается в 3090, в 4090 она тоже не поместится.
- По вычислениям она в 2,3 раза быстрее 3090. Это заметно в обучении, генерации изображений и обработке длинных промптов.
- По скорости генерации токенов разница с 3090 небольшая. Генерация упирается в пропускную способность памяти, а она у двух карт близкая.
- Архитектура Ada Lovelace поддерживает FP8. Модели в 8 битах занимают вдвое меньше памяти, чем в 16, и считаются быстрее. Аппаратного FP4, как у Blackwell, у 4090 нет.
Цены в таблице меняются вместе с рынком, поэтому сравнивайте их на момент аренды. Бывает, что серверная карта с большей памятью стоит почти столько же, сколько 4090, и тогда выбор очевиден.
Языковые модели: что помещается в 24 ГБ
Правило для оценки: вес модели в гигабайтах ≈ число миллиардов параметров × байт на параметр. В 16 битах — 2 байта, в 8 битах — 1, в 4 битах — около 0,6. Сверху нужно 2–6 ГБ на KV-кеш и служебные данные.
| Модель | Точность | Веса | Помещается в 24 ГБ | Скорость для одного пользователя |
|---|---|---|---|---|
| 7–8B | FP16 | ~16 ГБ | да, контекст до 16–32 тыс. токенов | 40–55 ток/с |
| 7–8B | FP8 / 4 бита | 5–8,5 ГБ | да, с большим запасом | 90–160 ток/с |
| 13–14B | FP8 | ~14 ГБ | да | 45–60 ток/с |
| 30B MoE (Qwen3-30B-A3B) | 4 бита | ~17 ГБ | да | высокая: активны ~3 млрд параметров |
| 32B | 4 бита | ~19 ГБ | да, контекст до 8–16 тыс. токенов | 30–42 ток/с |
| 70B | 4 бита | ~40 ГБ | нет | — |
Скорость оценена по формуле «пропускная способность ÷ размер весов» с поправкой на реальные 50–80% от потолка. Для чата хватает 20–30 токенов в секунду, так что все варианты из таблицы, которые помещаются, работают комфортно.
Модель 32B стоит на пределе для одной карты. Она запускается, но на KV-кеш остаётся 3–4 ГБ, и длинный документ или несколько параллельных пользователей в эту память не влезут. Если нужна 32B с контекстом 32 тыс. токенов или API для нескольких пользователей, смотрите на 32 ГБ и больше.
Модель 70B на 4090 можно запустить только с выгрузкой части слоёв в оперативную память через llama.cpp. Скорость при этом падает до нескольких токенов в секунду: для экспериментов терпимо, для работы нет. Две RTX 4090 дают 48 ГБ и вмещают 70B в 4 битах, но без NVLink карты обмениваются данными через PCIe, и прирост от второй карты меньше, чем хотелось бы.
Генерация изображений и видео
Здесь 4090 особенно хороша: задачи в основном вычислительные, а 24 ГБ хватает почти всем популярным моделям.
| Задача | Как работает | Ориентир скорости |
|---|---|---|
| SDXL, 30 шагов | целиком в памяти, с ControlNet и рефайнером | 4–6 с на картинку |
| Flux schnell, 4 шага | в FP8 | 2–4 с на картинку |
| Flux dev, 20–28 шагов | в FP8 быстро, в FP16 — с выгрузкой T5 в ОЗУ | 15–25 с на картинку |
| SD 3.5 Large | помещается в FP8 | медленнее SDXL в 2–3 раза |
| Видео: Wan 2.2 5B | помещается, 720p | минуты на ролик в 5 секунд |
| Видео: модели 14B | с FP8 и выгрузкой блоков в ОЗУ | десятки минут на ролик |
С видео 24 ГБ проходят по нижней границе комфорта. Память растёт с разрешением и длиной ролика, и тяжёлые модели на 14 млрд параметров работают на этой карте только с оптимизациями: FP8-веса, выгрузка частей в оперативную память, тайловое декодирование. Если генерация видео — основная задача, выигрыш от карты на 32–48 ГБ будет заметен. Подробнее про изображения написано в статье какую видеокарту выбрать для Stable Diffusion и Flux.
Обучение и дообучение
Для обучения памяти нужно в несколько раз больше, чем для инференса: кроме весов, в ней лежат градиенты, состояния оптимизатора и активации. Поэтому для 4090 реалистичны такие задачи:
- LoRA для SDXL занимает 20–40 минут на датасете из 20–30 картинок.
- LoRA для Flux помещается с базовой моделью в FP8, занимает 1–2 часа.
- QLoRA для LLM 7–8B идёт комфортно, с батчем и контекстом 2–4 тыс. токенов.
- QLoRA для LLM 13–14B помещается, но с меньшим батчем.
- QLoRA для 30–34B идёт на пределе: 24–30 ГБ требований против 24 ГБ карты. Лучше RTX 5090 или A100.
- Обучение с нуля небольших моделей: классификаторы, детекторы, модели до 1–3 млрд параметров.
- Полное дообучение 7B не поместится. Нужно около 100+ ГБ с учётом оптимизатора, это работа для нескольких карт по 80 ГБ.
Вычислительная мощность 4090 в обучении близка к серверным картам прошлого поколения, а в FP8 с поддержкой во фреймворках часто их обгоняет. Узкое место — не скорость, а память и связь между картами. Сколько стоит дообучение и сколько часов оно занимает, разобрано в статье про LoRA и QLoRA на арендованной GPU.
Где RTX 4090 упирается
Сведём ограничения в один список, чтобы было понятно, когда искать другую карту.
24 ГБ памяти. Главное ограничение. Модели 70B, 32B с длинным контекстом, тяжёлые видеомодели, полное дообучение — всё это упирается в память, а не в скорость.
Нет NVLink. У неё нет разъёма для прямого соединения карт. При обучении на нескольких картах данные идут через PCIe, и на задачах с частой синхронизацией масштабирование хуже, чем у серверных карт.
Нет аппаратного FP4. Blackwell (RTX 5090, B200, RTX PRO 6000) умеют считать в 4-битных форматах на тензорных ядрах. Когда фреймворки массово перейдут на FP4, разрыв с новым поколением вырастет.
Слабый FP64. Для научных расчётов двойной точности (молекулярной динамики, некоторых CFD-задач) потребительские карты не подходят. Это редкий случай в ИИ, но о нём стоит знать.
Нет ECC-памяти. Для обучения на несколько суток ошибка в памяти маловероятна, но не исключена. Серверные карты её исправляют, 4090 — нет. Сохраняйте чекпоинты.
Когда брать RTX 4090, а когда другую карту
| Задача | Что выбрать | Почему |
|---|---|---|
| LLM до 14B, чат-бот, API | RTX 4090 | хватает памяти, быстрая обработка промптов |
| Модель 32B с длинным контекстом | RTX 5090 или RTX A6000 | нужно 32–48 ГБ |
| Модель 70B | A100 80 ГБ или 2× RTX A6000 | 40+ ГБ на веса |
| SDXL, Flux, LoRA | RTX 4090 | лучшая скорость за свои деньги среди 24 ГБ |
| Видео в высоком разрешении | RTX 5090, L40S | больше памяти под кадры |
| Инференс 8B для одного пользователя, бюджет | RTX 3090 | та же память, близкая скорость генерации |
| Обучение на 4–8 картах | A100, H100 | NVLink и масштабирование |
Отдельно сравнение с RTX 5090: она быстрее в генерации токенов благодаря памяти на 1,8 ТБ/с и даёт 8 ГБ запаса. Если задача упирается именно в эти 8 ГБ, например 32B с нормальным контекстом или Flux в полной точности, читайте подробный разбор в статье RTX 5090 для ИИ. Все карты, у которых памяти 24 ГБ и больше, с ценами собраны на странице видеокарты от 24 ГБ.
Как проверить свою задачу за 15 минут
Таблицы выше дают ориентир, но точный ответ на вопрос «потянет ли RTX 4090 мою задачу» даёт только запуск. Короткий тест обходится в 12 ₽ и занимает четверть часа.
- Запустите машину с нужным шаблоном. Для LLM — vLLM, для изображений — ComfyUI, для обучения — PyTorch с Jupyter.
- Загрузите модель в той точности, в которой будете работать. Не в «облегчённой» для теста: разница между FP8 и 4 битами по памяти почти двукратная.
- Смотрите на
nvidia-smiпод нагрузкой. Если занято 22–23 ГБ из 24 на коротком примере, на реальных данных с длинным контекстом или большим батчем память кончится. - Прогоните реальный пример. Ваш промпт с типичной длиной, ваша картинка в нужном разрешении, один шаг обучения с вашим батчем.
- Замерьте скорость и пересчитайте в деньги. Секунды на картинку, токены в секунду или время шага обучения умножьте на объём работы и цену часа.
Если по замеру память на пределе, не пытайтесь ужать задачу любой ценой. Выгрузка слоёв в оперативную память и агрессивная квантизация часто замедляют работу в разы, и карта с большей памятью в итоге обходится дешевле.
Частые ошибки при выборе RTX 4090
- Считать только веса модели. Модель 32B в 4 битах весит 19 ГБ и формально помещается, но KV-кеш для длинного контекста и нескольких пользователей уже не влезает.
- Брать две RTX 4090 вместо одной карты на 48 ГБ. Для инференса это работает, но для обучения без NVLink связка масштабируется хуже, а настройка сложнее.
- Переплачивать за скорость в чате. Для диалога с человеком хватает 20–30 токенов в секунду. Если модель 8B работает на RTX 3090, переход на 4090 ради цифры в бенчмарке пользователь не заметит.
Купить или арендовать
Новые RTX 4090 в 2026 году встречаются в рознице редко: например, в прайс-листе NIX по данным на 14.10.2026 таких предложений нет. Остаётся вторичный рынок, где цена зависит от состояния и происхождения карты, и проверить её до покупки сложно.
Аренда снимает этот вопрос. Сутки работы карты стоят 1 152 ₽, неделя по 8 часов в день — 1 920 ₽. Электричество, охлаждение и разъём питания на 450 Вт ложатся на владельца машины. Если нагрузка у вас не круглосуточная, аренда почти всегда обходится дешевле покупки на горизонте 2–3 лет.
RTX 4090 в 2026 году остаётся рабочей картой для большинства задач ИИ, которые помещаются в 24 ГБ: инференс LLM до 32B в 4 битах, Stable Diffusion и Flux, LoRA и QLoRA до 14B. Если задача упирается в память, не пытайтесь её ужать, а возьмите карту на 32, 48 или 80 ГБ на нужное время.
Запустите RTX 4090 на час, проверьте свою модель и замерьте скорость. Машины и текущие цены смотрите на странице RTX 4090 аренда, баланс пополняется криптовалютой от 500 ₽.