20 ноября 2026 г. · Анатолий Крылов, редактор Терафермы
Эмбеддинги на GPU: сколько стоит проиндексировать базу знаний для RAG
Эмбеддинги на GPU считаются в десятки раз быстрее, чем на процессоре, и индексация базы знаний для RAG обходится в рубли, а не в тысячи рублей. Пример: 400 тыс. фрагментов по 512 токенов модель bge-m3 на RTX A6000 обрабатывает примерно за 25 минут, это около 35 ₽ на Тераферме. Это база из 100 тыс. документов средней длины.
Где в RAG работает GPU
RAG-система отвечает на вопросы по вашим документам. Её путь данных:
- Нарезка. Документы делятся на фрагменты по 300–1 000 токенов. Процессор.
- Эмбеддинги документов. Каждый фрагмент превращается в вектор. Нужна GPU: это самый тяжёлый этап при индексации.
- Векторный индекс. Векторы кладутся в Qdrant, pgvector, Milvus или FAISS. Обычно процессор.
- Эмбеддинг запроса. Вопрос пользователя превращается в вектор. С одной короткой строкой справится и процессор.
- Поиск и переранжирование. Индекс находит кандидатов, модель-реранкер упорядочивает их точнее. Реранкеру при заметной нагрузке нужна GPU.
- Генерация ответа. Языковая модель пишет ответ по найденным фрагментам. GPU нужна, если модель своя.
Эта статья — про второй этап: разовая или регулярная индексация базы. Это задача «запустил, посчитал, остановил», и для неё почасовая аренда подходит идеально. Как собрать всю систему целиком, показано в кейсе ассистент на документах для стартапа.
Модели эмбеддингов для русского
| Модель | Размер | Контекст | Особенности |
|---|---|---|---|
| bge-m3 | ~570 млн | 8 192 токена | Многоязычная, плотные и разреженные векторы, хорошо работает с русским |
| multilingual-e5-large | ~560 млн | 512 токенов | Проверенная многоязычная модель, нужен префикс query: / passage: |
| Qwen3-Embedding 0.6B / 4B / 8B | 0,6–8 млрд | До 32 тыс. токенов | Сильные результаты в многоязычных тестах, старшие версии заметно тяжелее |
| Модели под русский язык | Разные | Разные | Есть открытые модели, обученные специально на русских текстах |
Практичный подход: начните с bge-m3. Если качество поиска не устраивает, сравните на своих данных 2–3 альтернативы. Готовые рейтинги вроде MTEB полезны как ориентир, но результат на ваших документах может отличаться.
Как сравнить: соберите 50–100 реальных вопросов и для каждого отметьте фрагмент, который должен находиться. Метрикой будет доля вопросов, где нужный фрагмент попал в топ-5. Это час работы, который экономит недели на неудачной модели.
Модели на 0,6 млрд параметров весят около 1–2 ГБ и помещаются в любую карту. Модели на 4–8 млрд требуют 8–16 ГБ в FP16 и считаются в несколько раз медленнее. Берите их, только если тест на ваших данных показал заметный выигрыш.
Скорость: сколько фрагментов в секунду
Опубликованный замер bge-m3 на фрагментах по 512 токенов с сервером Text Embeddings Inference (TEI), по данным RunPod на сентябрь 2026:
| Карта | Фрагментов по 512 токенов в секунду | Цена на Тераферме, ₽/час |
|---|---|---|
| RTX A5000 | ~190 | 32 |
| RTX A6000 | ~265 | 69 |
| L40S | ~277 | 105 |
| H100 SXM | ~1 240 | 277–329 |
| H200 | ~1 345 | 440–464 |
Для L4, RTX 3090 и RTX 4090 в этом замере данных нет. По паспорту L4 уступает A6000 и в вычислениях, и особенно в пропускной способности памяти (300 ГБ/с против 768), поэтому ожидайте от неё заметно меньшей скорости. Перед большой индексацией замерьте скорость на 10 тыс. своих фрагментов: это минута-две работы карты.
Из того же исследования важный вывод: выбор сервера инференса меняет скорость до 11 раз на одной и той же карте. Простой цикл через sentence-transformers с маленьким батчем может работать в разы медленнее TEI или vLLM. Используйте специализированный сервер или хотя бы большой батч с FP16.
Формула и расчёт
фрагментов ≈ число документов × средняя длина в токенах ÷ размер фрагмента × 1,1
Множитель 1,1 учитывает перекрытие фрагментов.
часы = фрагментов ÷ скорость в секунду ÷ 3600
стоимость = цена часа × (часы + 0,25 ч на запуск и загрузку модели)
Пример: 100 тыс. документов по 2 000 токенов, фрагменты по 512 токенов дают около 430 тыс. фрагментов. На RTX A6000 при 265 в секунду это около 1 620 секунд, или 27 минут.
| База | Фрагментов | RTX A6000 | Стоимость на A6000 | H100 | Стоимость на H100 |
|---|---|---|---|---|---|
| 10 тыс. документов | ~43 тыс. | ~3 мин | 21 ₽ | <1 мин | 75–89 ₽ |
| 100 тыс. документов | ~430 тыс. | ~27 мин | 48 ₽ | ~6 мин | 97–115 ₽ |
| 1 млн документов | ~4,3 млн | ~4,5 ч | 328 ₽ | ~1 ч | 332–395 ₽ |
| 10 млн документов | ~43 млн | ~45 ч | 3 105 ₽ | ~9,6 ч | 2 742–3 257 ₽ |
В стоимость включены 15 минут на запуск, установку и загрузку модели.
Интересная деталь: на больших базах цена фрагмента на A6000 и H100 получается близкой: H100 примерно в 4,7 раза быстрее, но и час у неё дороже в похожей пропорции. Разница во времени: 10 млн документов на H100 считаются за ночь, на A6000 — почти двое суток. Если база небольшая, берите карту подешевле: накладные 15 минут на старт на H100 стоят дороже самой работы.
Сколько места займут векторы
Это важно для выбора векторной базы и сервера под неё, а не для GPU.
объём ≈ число фрагментов × размерность × 4 байта (для float32)
| Фрагментов | Размерность 1 024 (bge-m3) | С квантованием до int8 |
|---|---|---|
| 430 тыс. | ~1,8 ГБ | ~0,45 ГБ |
| 4,3 млн | ~17,6 ГБ | ~4,4 ГБ |
| 43 млн | ~176 ГБ | ~44 ГБ |
До нескольких миллионов векторов индекс помещается в оперативную память обычного сервера, и поиск на процессоре занимает миллисекунды. GPU для поиска имеет смысл только на десятках миллионов векторов и высокой нагрузке, например через FAISS на GPU.
Реранкер и гибридный поиск
Эмбеддинги находят похожие по смыслу фрагменты, но порядок результатов бывает неточным. Два приёма заметно улучшают поиск, и оба связаны с GPU.
Реранкер. Векторный поиск возвращает 20–50 кандидатов, а модель-реранкер (например, bge-reranker) оценивает каждую пару «вопрос — фрагмент» и пересортировывает их. Это дороже эмбеддингов: модель смотрит на вопрос и фрагмент вместе, поэтому заранее посчитать ничего нельзя, работа идёт на каждый запрос. На GPU 20–50 пар обрабатываются за доли секунды, на процессоре — заметно дольше. При постоянной нагрузке реранкер становится главным поводом держать маленькую карту включённой.
Гибридный поиск. bge-m3 умеет выдавать не только плотный вектор, но и разреженный: веса отдельных слов, как в классическом полнотекстовом поиске. Совмещение двух видов поиска помогает там, где важны точные совпадения: артикулы, номера договоров, фамилии, редкие термины. Разреженные векторы считаются в том же проходе модели, поэтому время индексации почти не растёт.
Практичная схема для базы знаний компании: плотный и разреженный поиск по bge-m3, затем реранкер по топ-30. Индексация идёт разовой задачей на мощной карте, а реранкер и эмбеддинги запросов работают постоянным сервисом на экономичной.
Какую карту брать
- Небольшие базы, до 100 тыс. документов — RTX A5000 или RTX A6000. Работа займёт минуты, разница в цене часа важнее скорости.
- Регулярная переиндексация миллионов документов — H100: ночь вместо двух суток, а цена фрагмента близка к A6000.
- Постоянный сервис эмбеддингов запросов и реранкер — экономичная L4 на 72 Вт: короткие запросы не требуют мощной карты, а держать сервис круглосуточно дешевле на маленькой GPU. Месяц L4 без перерыва — 64 080 ₽.
- Модели эмбеддингов на 4–8 млрд параметров — карты на 24–48 ГБ: RTX 4090, RTX A6000, L40S.
Другие задачи ИИ и подходящие под них карты собраны на странице аренда GPU для ИИ.
Порядок индексации на арендованной GPU
- Нарежьте документы заранее на своём компьютере. На выходе файл JSONL или Parquet с текстами фрагментов и метаданными.
- Положите файл в облачное хранилище. Тексты сжимаются хорошо: 430 тыс. фрагментов занимают несколько сотен мегабайт.
- Запустите сервер с шаблоном PyTorch + CUDA + Jupyter или своим образом с TEI. Пополнение баланса картой российского банка или криптовалютой от 500 ₽, оплата поминутная.
- Поднимите сервер эмбеддингов (TEI или vLLM в режиме embeddings) и отправляйте фрагменты пакетами по 64–256.
- Сохраняйте векторы частями, например по 100 тыс., в файлы
.npyили Parquet. Если что-то пойдёт не так, не придётся начинать сначала. - Выгрузите векторы в хранилище или сразу в векторную базу и остановите сервер: диск удаляется при остановке.
Следите за загрузкой карты через nvidia-smi. Если она ниже 80%, увеличьте размер пакета или число параллельных запросов.
Частые ошибки
- Маленький батч. Карта простаивает между запросами, и индексация идёт в разы дольше.
- Слишком длинные фрагменты. Модель с контекстом 512 токенов молча обрежет остальное. Проверьте лимит модели.
- Разные модели для документов и запросов. Векторы несовместимы, и поиск вернёт мусор.
- Нет префиксов. У e5 и некоторых других моделей нужны префиксы
query:иpassage:, без них качество поиска падает. - Переиндексация всей базы при каждом изменении. Считайте эмбеддинги только для новых и изменённых документов.
Эмбеддинги на GPU остаются самой дешёвой частью RAG-системы: база из 100 тыс. документов индексируется на RTX A6000 примерно за полчаса, а 10 млн документов на H100 — за ночь. Главное — выбрать модель по тесту на своих вопросах, использовать специализированный сервер инференса и большие пакеты, а для постоянного сервиса запросов взять маленькую экономичную карту.
Проиндексируйте свою базу знаний за один сеанс: запустите RTX A6000 в аренду с поминутной оплатой.