Логотип Терафермы Тераферма Регистрация

3 ноября 2026 г. · Анатолий Крылов, редактор Терафермы

L40S для инференса и генерации картинок: 48 ГБ дешевле H100

Серверная видеокарта в салазках, галерея сгенерированных картинок и поток сообщений — L40S для нейросетей и инференса

У L40S, серверной видеокарты NVIDIA на архитектуре Ada Lovelace, 48 ГБ памяти, поддержка FP8 и RT-ядра. В аренде она стоит 105 ₽ в час против 277–329 ₽ у H100. На ней помещается Llama 70B в 4 битах, Qwen 32B в FP8, Flux в полной точности и модели генерации видео. Для инференса и генерации картинок, которым не нужна скорость памяти HBM, L40S даёт 48 ГБ в несколько раз дешевле H100.

Характеристики L40S против соседей

Карта Память Пропускная способность FP16, TFLOPS FP8 Тариф, ₽/ч
RTX 4090 24 ГБ GDDR6X 1 008 ГБ/с 165 Да 54
RTX A6000 48 ГБ GDDR6 768 ГБ/с 155 Нет 69
L40 48 ГБ GDDR6 864 ГБ/с 181 Да 121
L40S 48 ГБ GDDR6 864 ГБ/с 362 Да 105
A100 80 ГБ 80 ГБ HBM2e 2 039 ГБ/с 312 Нет 154
H100 SXM 80 ГБ HBM3 3 350 ГБ/с 989 Да 277–329
RTX PRO 6000 96 ГБ GDDR7 1 792 ГБ/с 500 Да, и FP4 195

Характеристики взяты из нашей таблицы GPU, это ориентировочные паспортные значения.

Что выделяет L40S:

  • 48 ГБ памяти. Вдвое больше, чем у RTX 4090. Это порог, после которого модели 70B помещаются на одну карту.
  • Форсированные тензорные ядра. В FP16 L40S вдвое быстрее L40 и RTX A6000 при той же или близкой памяти. В задачах, которые упираются в вычисления (генерация картинок, обработка длинных промптов, батчинг), это заметно.
  • FP8. Тензорные ядра четвёртого поколения аппаратно ускоряют 8-битные форматы. На A6000 и A100 этого нет.
  • RT-ядра и NVENC. Карта умеет рендер с трассировкой лучей и аппаратное кодирование видео, у A100 и H100 этого нет.
  • 350 Вт и пассивное охлаждение. Серверная карта для стоек, рассчитанная на круглосуточную нагрузку.

Слабое место: память GDDR6 на 864 ГБ/с. Генерация токенов LLM упирается именно в неё, и здесь L40S медленнее даже RTX 4090, не говоря об A100 и H100. Второе ограничение в том, что нет NVLink: несколько L40S в одной машине обмениваются данными через PCIe, поэтому делить одну большую модель между картами на них менее эффективно, чем на H100. Для независимых задач на каждой карте это не важно.

Инференс LLM на L40S

Скорость генерации для одного пользователя оценивается так: токенов в секунду ≈ пропускная способность памяти ÷ размер весов, на практике 60–80% от этого потолка.

Модель Формат Веса Потолок, ток/с Ожидаемо, ток/с
Llama 3.1 8B, Qwen 8B FP8 ≈ 8 ГБ ≈ 108 70–85
Qwen 32B FP8 ≈ 33 ГБ ≈ 26 17–21
Qwen 32B AWQ 4 бита ≈ 19 ГБ ≈ 45 30–36
Llama 3.3 70B AWQ 4 бита ≈ 40 ГБ ≈ 22 15–17
gpt-oss-20b MXFP4 ≈ 13 ГБ MoE, быстрее плотных 100+

Что из этого следует:

Llama 70B в 4 битах — основной сценарий. 40 ГБ весов и около 8 ГБ под KV-кеш: контекст на несколько тысяч токенов для нескольких пользователей. 15–17 токенов в секунду, это быстрее, чем человек читает. Для внутреннего ассистента этого достаточно. Как настроить такую модель, подробно описано в статье про RTX A6000 для LLM 70B. На L40S всё то же самое, только чуть быстрее.

Qwen 32B в FP8 — качество почти как у оригинала. Модель занимает 33 ГБ, и на кеш остаётся около 15 ГБ: хватит на длинный контекст или десяток параллельных запросов. Потеря качества против исходных 16 бит в FP8 обычно в пределах погрешности бенчмарков.

gpt-oss-120b не помещается. Её веса занимают около 61 ГБ, для неё нужны A100, H100 или RTX PRO 6000 с 96 ГБ.

Батчинг. За счёт быстрых тензорных ядер L40S хорошо держит параллельные запросы: с vLLM суммарная скорость на модели 70B в 4 битах выходит порядка 150–200 токенов в секунду. Это цена миллиона токенов около 162 ₽ при полной загрузке и суммарных 180 токенах в секунду.

Генерация изображений и видео

Здесь L40S сильнее, чем в LLM: генерация картинок упирается в вычисления, а не в память.

Flux и SDXL. Flux dev в полной точности вместе с текстовым энкодером занимает около 24 ГБ: на RTX 4090 это впритык, на L40S с запасом. Можно держать в памяти несколько LoRA, ControlNet и апскейлер одновременно, генерировать батчами по 4–8 картинок и не выгружать модели между шагами. По скорости одной картинки L40S близка к RTX 4090.

Видео. Открытые модели генерации видео на 14B параметров в полной точности требуют больше 24 ГБ. На 48 ГБ они работают без выгрузки в оперативную память, а это кратно быстрее.

Обработка видео. NVENC и NVDEC позволяют декодировать и кодировать видео на самой карте: апскейл, субтитры, перекодирование без нагрузки на процессор.

Цена картинки считается так: цена = тариф в час × время генерации в секундах ÷ 3 600. Например, если Flux генерирует картинку 1024×1024 за 10 секунд, 1 000 картинок — это 2,8 часа, или 292 ₽. Замерьте время на своих настройках: шаги, разрешение и сэмплер меняют его в разы. Для сравнения прогоните те же настройки на RTX 4090 — если модель помещается в 24 ГБ, разница в цене картинки покажет, нужна ли вам L40S.

Расчёт: L40S против H100 и A6000

Возьмём внутренний ассистент на Llama 70B для отдела: 8 часов в будни, 176 часов в месяц.

Конфигурация Формат Скорость, ток/с 176 часов
1 × RTX A6000 AWQ 4 бита 11–15 12 144 ₽
1 × L40S AWQ 4 бита 15–17 18 480 ₽
1 × A100 80 ГБ AWQ 4 бита 35–40 27 104 ₽
1 × H100 FP8 30–35 48 752–57 904 ₽

Разница между L40S и A6000 в этом сценарии небольшая: обе карты упираются в память, а она у них почти одинаковая. L40S оправдывает доплату, когда нагрузка параллельная или когда нужна модель в FP8. H100 даёт качество FP8 и вдвое большую скорость, но стоит в несколько раз дороже. Если 15 токенов в секунду хватает, L40S или A6000 решают задачу за меньшие деньги. Если нужны десятки одновременных пользователей или контекст на 32 тысячи токенов, смотрите на A100 и H100.

Отдельно стоит RTX PRO 6000 с 96 ГБ: она вмещает gpt-oss-120b и 70B в FP8, а память у неё вдвое быстрее, чем у L40S. Подробности в разборе RTX PRO 6000 для инференса.

Другие задачи: Whisper, эмбеддинги, LoRA

L40S редко держат под одну задачу. 48 ГБ позволяют совместить на одной карте несколько сервисов, которым по отдельности нужно немного памяти.

Транскрибация. Whisper large-v3 занимает около 3–4 ГБ, а с батчингом обрабатывает час аудио за минуты. На L40S рядом с ним помещается LLM для пересказа и разметки расшифровок — весь конвейер «аудио → текст → краткое содержание» на одной машине.

Эмбеддинги и RAG. Модели эмбеддингов весят единицы гигабайт и упираются в вычисления, а не в память, и здесь пригодятся быстрые тензорные ядра L40S. Индексация базы знаний и генерация ответов могут идти на одной карте.

LoRA и QLoRA. Дообучение LoRA для моделей до 13B в 16 битах и QLoRA для 32B–70B помещается в 48 ГБ. Это медленнее, чем на A100, из-за памяти GDDR6, но для датасета на несколько тысяч примеров разница измеряется часами, а не днями.

Как выжать максимум из 48 ГБ

  • Ограничьте контекст. В vLLM параметр --max-model-len задаёт максимальную длину запроса. Если пользователям хватает 8 тысяч токенов, не резервируйте память под 128 тысяч — она уйдёт на параллельные запросы.
  • Квантуйте KV-кеш. --kv-cache-dtype fp8 вдвое сокращает память под кеш, и L40S обрабатывает его аппаратно.
  • Держите веса на быстром диске. Модель на 40 ГБ с NVMe загружается за минуту-две, по сети — дольше. Это важно, если сервер включается каждое утро.
  • Не смешивайте тяжёлые задачи. LLM и генерация видео на одной карте будут мешать друг другу. Лёгкие сервисы вроде Whisper и эмбеддингов рядом с LLM уживаются хорошо.

Когда L40S — лучший выбор

  • Модель не помещается в 24–32 ГБ, но помещается в 48 ГБ: 70B в 4 битах, 32B в FP8, Flux с LoRA и ControlNet, модели видео.
  • Генерация картинок и видео в продакшене. Батчи, несколько моделей в памяти, NVENC для готового видео.
  • Нужен FP8 без цены H100. Модели в FP8 работают на L40S с аппаратным ускорением.
  • Смешанная нагрузка. Днём инференс, ночью рендер — RT-ядра позволяют использовать карту и для того, и для другого.

Когда лучше другая карта

  • Нужна максимальная скорость генерации токенов. Память HBM у A100 и H100 в 2,5–4 раза быстрее. Для сервиса с десятками пользователей это важнее объёма.
  • Обучение больших моделей. Полное дообучение и обучение на нескольких картах требуют HBM и NVLink. L40S подходит для LoRA и QLoRA, но не для обучения 70B.
  • Модель помещается в 24 ГБ. Тогда RTX 4090 за 54 ₽ в час быстрее в генерации токенов благодаря памяти на 1 ТБ/с и дешевле.
  • Нужно больше 48 ГБ. gpt-oss-120b, 70B в FP8 или очень длинный контекст — A100, H100 или RTX PRO 6000.

Все карты с 48 ГБ и больше, отсортированные по цене, собраны на странице видеокарты с 48 ГБ.

Как запустить модель на L40S

  1. Выберите машину с L40S в каталоге и проверьте диск: для 70B в 4 битах закладывайте от 100 ГБ, для видео-моделей — больше.
  2. Запустите шаблон vLLM для LLM или ComfyUI для картинок и видео.
  3. Для vLLM укажите модель в формате AWQ или FP8 и ограничьте длину контекста так, чтобы KV-кеш поместился в оставшуюся память.
  4. Проверьте скорость на своих запросах и посчитайте цену по формулам выше.
  5. Остановите сервер после работы: оплата поминутная.

L40S даёт 48 ГБ памяти с FP8, быстрыми тензорными ядрами, RT-ядрами и NVENC за 105 ₽ в час. Это хороший выбор для 70B в 4 битах, 32B в FP8, Flux и генерации видео, когда скорость HBM не критична. Для максимальной скорости токенов и обучения больших моделей нужны A100 и H100, для моделей до 24 ГБ дешевле RTX 4090.

Запустите свою модель на странице аренды L40S и сравните скорость с вашей текущей картой.

Вопросы по теме

Для каких нейросетей подходит L40S?

Для инференса LLM до 70B в 4 битах и до 32B в FP8, генерации изображений в Flux и SDXL без экономии памяти, генерации видео открытыми моделями, Whisper и эмбеддингов. Для обучения больших моделей с нуля она слабее A100 и H100 из-за медленной памяти GDDR6 и отсутствия NVLink.

Чем L40S отличается от H100?

У L40S 48 ГБ GDDR6 с пропускной способностью 864 ГБ/с, у H100 — 80 ГБ HBM3 и 3 350 ГБ/с. H100 в 3–4 раза быстрее в генерации токенов и обучении, но и стоит в несколько раз дороже: 277–329 ₽ в час против 105 ₽. Зато у L40S есть RT-ядра и аппаратное кодирование видео NVENC, которых у H100 нет.

L40S или RTX A6000 — что выбрать?

Обе карты дают 48 ГБ. L40S новее: Ada Lovelace с FP8, вычисления FP16 примерно вдвое быстрее и память чуть быстрее — 864 ГБ/с против 768. A6000 стоит 69 ₽ в час, L40S — 105 ₽. Для 70B в 4 битах A6000 обычно хватает, для FP8 и генерации картинок L40S заметно быстрее.

Сколько стоит держать Llama 70B на L40S?

Модель в 4 битах занимает около 40 ГБ и помещается на одну L40S. Рабочий день из 8 часов стоит 840 ₽, месяц по 8 часов в будни — 18 480 ₽. Скорость для одного пользователя — около 15–17 токенов в секунду.

Подберите GPU

Все видеокарты каталога с поминутной оплатой в рублях.