Логотип Терафермы Тераферма Регистрация

20 ноября 2026 г. · Анатолий Крылов, редактор Терафермы

Эмбеддинги на GPU: сколько стоит проиндексировать базу знаний для RAG

Стопки документов проходят через видеокарту и превращаются в облако точек векторного индекса — эмбеддинги на GPU для RAG

Эмбеддинги на GPU считаются в десятки раз быстрее, чем на процессоре, и индексация базы знаний для RAG обходится в рубли, а не в тысячи рублей. Пример: 400 тыс. фрагментов по 512 токенов модель bge-m3 на RTX A6000 обрабатывает примерно за 25 минут, это около 35 ₽ на Тераферме. Это база из 100 тыс. документов средней длины.

Где в RAG работает GPU

RAG-система отвечает на вопросы по вашим документам. Её путь данных:

  1. Нарезка. Документы делятся на фрагменты по 300–1 000 токенов. Процессор.
  2. Эмбеддинги документов. Каждый фрагмент превращается в вектор. Нужна GPU: это самый тяжёлый этап при индексации.
  3. Векторный индекс. Векторы кладутся в Qdrant, pgvector, Milvus или FAISS. Обычно процессор.
  4. Эмбеддинг запроса. Вопрос пользователя превращается в вектор. С одной короткой строкой справится и процессор.
  5. Поиск и переранжирование. Индекс находит кандидатов, модель-реранкер упорядочивает их точнее. Реранкеру при заметной нагрузке нужна GPU.
  6. Генерация ответа. Языковая модель пишет ответ по найденным фрагментам. GPU нужна, если модель своя.

Эта статья — про второй этап: разовая или регулярная индексация базы. Это задача «запустил, посчитал, остановил», и для неё почасовая аренда подходит идеально. Как собрать всю систему целиком, показано в кейсе ассистент на документах для стартапа.

Модели эмбеддингов для русского

Модель Размер Контекст Особенности
bge-m3 ~570 млн 8 192 токена Многоязычная, плотные и разреженные векторы, хорошо работает с русским
multilingual-e5-large ~560 млн 512 токенов Проверенная многоязычная модель, нужен префикс query: / passage:
Qwen3-Embedding 0.6B / 4B / 8B 0,6–8 млрд До 32 тыс. токенов Сильные результаты в многоязычных тестах, старшие версии заметно тяжелее
Модели под русский язык Разные Разные Есть открытые модели, обученные специально на русских текстах

Практичный подход: начните с bge-m3. Если качество поиска не устраивает, сравните на своих данных 2–3 альтернативы. Готовые рейтинги вроде MTEB полезны как ориентир, но результат на ваших документах может отличаться.

Как сравнить: соберите 50–100 реальных вопросов и для каждого отметьте фрагмент, который должен находиться. Метрикой будет доля вопросов, где нужный фрагмент попал в топ-5. Это час работы, который экономит недели на неудачной модели.

Модели на 0,6 млрд параметров весят около 1–2 ГБ и помещаются в любую карту. Модели на 4–8 млрд требуют 8–16 ГБ в FP16 и считаются в несколько раз медленнее. Берите их, только если тест на ваших данных показал заметный выигрыш.

Скорость: сколько фрагментов в секунду

Опубликованный замер bge-m3 на фрагментах по 512 токенов с сервером Text Embeddings Inference (TEI), по данным RunPod на сентябрь 2026:

Карта Фрагментов по 512 токенов в секунду Цена на Тераферме, ₽/час
RTX A5000 ~190 32
RTX A6000 ~265 69
L40S ~277 105
H100 SXM ~1 240 277–329
H200 ~1 345 440–464

Для L4, RTX 3090 и RTX 4090 в этом замере данных нет. По паспорту L4 уступает A6000 и в вычислениях, и особенно в пропускной способности памяти (300 ГБ/с против 768), поэтому ожидайте от неё заметно меньшей скорости. Перед большой индексацией замерьте скорость на 10 тыс. своих фрагментов: это минута-две работы карты.

Из того же исследования важный вывод: выбор сервера инференса меняет скорость до 11 раз на одной и той же карте. Простой цикл через sentence-transformers с маленьким батчем может работать в разы медленнее TEI или vLLM. Используйте специализированный сервер или хотя бы большой батч с FP16.

Формула и расчёт

фрагментов ≈ число документов × средняя длина в токенах ÷ размер фрагмента × 1,1

Множитель 1,1 учитывает перекрытие фрагментов.

часы = фрагментов ÷ скорость в секунду ÷ 3600

стоимость = цена часа × (часы + 0,25 ч на запуск и загрузку модели)

Пример: 100 тыс. документов по 2 000 токенов, фрагменты по 512 токенов дают около 430 тыс. фрагментов. На RTX A6000 при 265 в секунду это около 1 620 секунд, или 27 минут.

База Фрагментов RTX A6000 Стоимость на A6000 H100 Стоимость на H100
10 тыс. документов ~43 тыс. ~3 мин 21 ₽ <1 мин 75–89 ₽
100 тыс. документов ~430 тыс. ~27 мин 48 ₽ ~6 мин 97–115 ₽
1 млн документов ~4,3 млн ~4,5 ч 328 ₽ ~1 ч 332–395 ₽
10 млн документов ~43 млн ~45 ч 3 105 ₽ ~9,6 ч 2 742–3 257 ₽

В стоимость включены 15 минут на запуск, установку и загрузку модели.

Интересная деталь: на больших базах цена фрагмента на A6000 и H100 получается близкой: H100 примерно в 4,7 раза быстрее, но и час у неё дороже в похожей пропорции. Разница во времени: 10 млн документов на H100 считаются за ночь, на A6000 — почти двое суток. Если база небольшая, берите карту подешевле: накладные 15 минут на старт на H100 стоят дороже самой работы.

Сколько места займут векторы

Это важно для выбора векторной базы и сервера под неё, а не для GPU.

объём ≈ число фрагментов × размерность × 4 байта (для float32)

Фрагментов Размерность 1 024 (bge-m3) С квантованием до int8
430 тыс. ~1,8 ГБ ~0,45 ГБ
4,3 млн ~17,6 ГБ ~4,4 ГБ
43 млн ~176 ГБ ~44 ГБ

До нескольких миллионов векторов индекс помещается в оперативную память обычного сервера, и поиск на процессоре занимает миллисекунды. GPU для поиска имеет смысл только на десятках миллионов векторов и высокой нагрузке, например через FAISS на GPU.

Реранкер и гибридный поиск

Эмбеддинги находят похожие по смыслу фрагменты, но порядок результатов бывает неточным. Два приёма заметно улучшают поиск, и оба связаны с GPU.

Реранкер. Векторный поиск возвращает 20–50 кандидатов, а модель-реранкер (например, bge-reranker) оценивает каждую пару «вопрос — фрагмент» и пересортировывает их. Это дороже эмбеддингов: модель смотрит на вопрос и фрагмент вместе, поэтому заранее посчитать ничего нельзя, работа идёт на каждый запрос. На GPU 20–50 пар обрабатываются за доли секунды, на процессоре — заметно дольше. При постоянной нагрузке реранкер становится главным поводом держать маленькую карту включённой.

Гибридный поиск. bge-m3 умеет выдавать не только плотный вектор, но и разреженный: веса отдельных слов, как в классическом полнотекстовом поиске. Совмещение двух видов поиска помогает там, где важны точные совпадения: артикулы, номера договоров, фамилии, редкие термины. Разреженные векторы считаются в том же проходе модели, поэтому время индексации почти не растёт.

Практичная схема для базы знаний компании: плотный и разреженный поиск по bge-m3, затем реранкер по топ-30. Индексация идёт разовой задачей на мощной карте, а реранкер и эмбеддинги запросов работают постоянным сервисом на экономичной.

Какую карту брать

  • Небольшие базы, до 100 тыс. документов — RTX A5000 или RTX A6000. Работа займёт минуты, разница в цене часа важнее скорости.
  • Регулярная переиндексация миллионов документов — H100: ночь вместо двух суток, а цена фрагмента близка к A6000.
  • Постоянный сервис эмбеддингов запросов и реранкер — экономичная L4 на 72 Вт: короткие запросы не требуют мощной карты, а держать сервис круглосуточно дешевле на маленькой GPU. Месяц L4 без перерыва — 64 080 ₽.
  • Модели эмбеддингов на 4–8 млрд параметров — карты на 24–48 ГБ: RTX 4090, RTX A6000, L40S.

Другие задачи ИИ и подходящие под них карты собраны на странице аренда GPU для ИИ.

Порядок индексации на арендованной GPU

  1. Нарежьте документы заранее на своём компьютере. На выходе файл JSONL или Parquet с текстами фрагментов и метаданными.
  2. Положите файл в облачное хранилище. Тексты сжимаются хорошо: 430 тыс. фрагментов занимают несколько сотен мегабайт.
  3. Запустите сервер с шаблоном PyTorch + CUDA + Jupyter или своим образом с TEI. Пополнение баланса картой российского банка или криптовалютой от 500 ₽, оплата поминутная.
  4. Поднимите сервер эмбеддингов (TEI или vLLM в режиме embeddings) и отправляйте фрагменты пакетами по 64–256.
  5. Сохраняйте векторы частями, например по 100 тыс., в файлы .npy или Parquet. Если что-то пойдёт не так, не придётся начинать сначала.
  6. Выгрузите векторы в хранилище или сразу в векторную базу и остановите сервер: диск удаляется при остановке.

Следите за загрузкой карты через nvidia-smi. Если она ниже 80%, увеличьте размер пакета или число параллельных запросов.

Частые ошибки

  • Маленький батч. Карта простаивает между запросами, и индексация идёт в разы дольше.
  • Слишком длинные фрагменты. Модель с контекстом 512 токенов молча обрежет остальное. Проверьте лимит модели.
  • Разные модели для документов и запросов. Векторы несовместимы, и поиск вернёт мусор.
  • Нет префиксов. У e5 и некоторых других моделей нужны префиксы query: и passage:, без них качество поиска падает.
  • Переиндексация всей базы при каждом изменении. Считайте эмбеддинги только для новых и изменённых документов.

Эмбеддинги на GPU остаются самой дешёвой частью RAG-системы: база из 100 тыс. документов индексируется на RTX A6000 примерно за полчаса, а 10 млн документов на H100 — за ночь. Главное — выбрать модель по тесту на своих вопросах, использовать специализированный сервер инференса и большие пакеты, а для постоянного сервиса запросов взять маленькую экономичную карту.

Проиндексируйте свою базу знаний за один сеанс: запустите RTX A6000 в аренду с поминутной оплатой.

Вопросы по теме

Сколько стоит посчитать эмбеддинги для базы знаний на GPU?

База из 100 тыс. документов по 2 000 токенов — это около 400 тыс. фрагментов по 512 токенов. На RTX A6000 модель bge-m3 обрабатывает порядка 265 таких фрагментов в секунду, то есть вся база считается примерно за 25 минут — около 35 ₽ на Тераферме. На H100 — за 5–6 минут, но час дороже.

Нужна ли GPU для эмбеддингов?

Для первичной индексации большой базы — да: на процессоре те же 400 тыс. фрагментов считаются часами или сутками. Для эмбеддингов запросов пользователей в реальном времени при небольшой нагрузке часто хватает процессора или маленькой карты вроде L4.

Какую модель эмбеддингов выбрать для русского языка?

Проверенный вариант — bge-m3: многоязычная, около 570 млн параметров, контекст до 8 192 токенов. Альтернативы — multilingual-e5-large, семейство Qwen3-Embedding и модели, обученные специально на русском. Перед выбором прогоните 50–100 своих запросов и сравните, какая модель находит нужные фрагменты чаще.

Нужна ли GPU для векторного поиска?

Обычно нет. Поиск по индексу из сотен тысяч или нескольких миллионов векторов в Qdrant, pgvector или FAISS быстро работает на процессоре. GPU нужна для расчёта эмбеддингов и для переранжирования, а сам поиск переносят на GPU только на десятках миллионов векторов и высокой нагрузке.

Читайте также

Подберите GPU

Все видеокарты каталога с поминутной оплатой в рублях.