Логотип Терафермы Тераферма Регистрация

11 ноября 2026 г. · Анатолий Крылов, редактор Терафермы

Нейросеть для поддержки клиентов на своей LLM: разбор обращений и черновики ответов

Гарнитура оператора и письма, которые видеокарта раскладывает по лоткам — нейросеть для поддержки клиентов на своей LLM

Нейросеть для поддержки клиентов на своей LLM решает три задачи: сортирует обращения по теме и срочности, достаёт из текста номер заказа и суть проблемы и готовит черновик ответа по базе знаний, который оператор проверяет и отправляет. Одна арендованная RTX 4090 за 54 ₽/час с моделью на 27B в 4 битах обрабатывает около 3 000 обращений за рабочий день. Месяц работы по 10 часов в будни обойдётся примерно в 11 880 ₽.

Что нейросеть делает в поддержке

Полностью заменить оператора нейросетью рискованно: одна неверная фраза про возврат денег стоит дороже месяца работы сервера. Зато рутину вокруг ответа модель снимает почти целиком.

Задача Что на входе Что на выходе Размер модели
Классификация текст обращения тема, отдел, срочность 8–14B
Извлечение данных текст обращения номер заказа, телефон, товар — в JSON 8–14B
Тональность текст обращения недоволен ли клиент, угроза ухода 8–14B
Черновик ответа обращение + статьи базы знаний готовый текст для оператора 27–31B
Резюме переписки вся история диалога 3–5 строк сути 14–27B
Ответы на частые вопросы без оператора вопрос + база знаний ответ клиенту 27B+ и строгие правила

Первые три задачи дают эффект быстрее всего. Обращения сразу попадают в нужную очередь, срочные и злые не ждут в общей куче, а оператор открывает тикет с уже заполненными полями.

Черновики ответов идут следующим шагом. Оператор не пишет с нуля, а правит готовый текст. На типовых вопросах вроде статуса заказа, сроков доставки и возврата правка занимает секунды.

Почему своя модель, а не API

Персональные данные. В обращениях встречаются имена, телефоны, адреса, номера карт лояльности. При использовании зарубежного API эти данные уходят за границу, а это отдельная юридическая тема. На своей модели, запущенной на арендованной GPU, текст обрабатывается на сервере, которым управляете вы, и никуда не пересылается. Как именно оформить обработку данных у себя, обсудите с юристом.

Предсказуемая цена. Арендованная карта стоит одинаково за час, сколько бы обращений она ни разобрала. Всплеск обращений после рассылки не превращается в неожиданный счёт за токены.

Свои правила. Модель можно дообучить на ваших прошлых ответах, чтобы она писала в тоне компании, и жёстко ограничить промптом: не обещать компенсаций, не называть сроки, которых нет в базе знаний.

Подробнее о расчёте «своя модель или API» читайте в статье про Telegram-бота на своей нейросети: там та же связка, только канал другой.

Схема работы

Типовая архитектура состоит из четырёх частей:

  1. Хелпдеск — система, где живут обращения. Она отправляет новое обращение в ваш сервис через вебхук или вы забираете их по API.
  2. Сервис-посредник — небольшой скрипт на Python. Он получает обращение, собирает промпт, вызывает модель и записывает результат обратно в тикет: тему, теги, срочность, черновик во внутреннем комментарии.
  3. LLM-сервер — vLLM на арендованной GPU с OpenAI-совместимым API. Сервис обращается к нему так же, как к любому облачному API, только по адресу своего сервера.
  4. Поиск по базе знаний — векторная база (например, Qdrant) и модель эмбеддингов для русского языка (например, bge-m3 или multilingual-e5). Она находит 3–5 статей, похожих на вопрос клиента, и их текст подставляется в промпт.

Модель запускается одной командой:

vllm serve Qwen/Qwen3.6-27B-AWQ --max-model-len 16384 --gpu-memory-utilization 0.9

Модель эмбеддингов маленькая, 0,5–2 ГБ, и помещается на ту же карту рядом с LLM. Готовые команды и параметры vLLM собраны на странице запуск vLLM.

Промпт для разбора обращения

Для классификации и извлечения данных просите у модели строгий JSON. vLLM умеет ограничивать ответ схемой (structured outputs), тогда модель физически не сможет вернуть невалидный ответ.

Ты разбираешь обращения в поддержку интернет-магазина.
Верни JSON: {"topic": одна из [доставка, возврат, оплата, товар, аккаунт, другое],
"urgency": одна из [низкая, обычная, высокая],
"order_id": строка или null, "angry": true/false, "summary": до 20 слов}.
Обращение: <текст>

Для черновика ответа добавьте статьи из базы знаний и правила: отвечай только по приведённым статьям, если ответа нет — напиши «нужен оператор», не обещай сроков и компенсаций.

Перед запуском соберите 200–300 реальных обращений с правильной разметкой и сравните с ответами модели. Если точность классификации ниже 90%, уточните список тем и добавьте в промпт по два-три примера на каждую.

Сколько мощности нужно

Нагрузка считается в токенах. Типовое обращение с инструкцией и статьями базы знаний занимает около 1 500 входящих токенов, ответ модели — около 300.

Секунды GPU на обращение ≈ входящие токены ÷ скорость чтения + исходящие токены ÷ скорость генерации

vLLM обрабатывает много запросов одновременно, поэтому суммарная скорость в разы выше, чем у одного чата. Для модели 27B в 4 битах на RTX 4090 ориентир такой: несколько тысяч токенов в секунду на чтение и 400–600 токенов в секунду на генерацию в пачке запросов.

Пример: 1 500 ÷ 5 000 + 300 ÷ 500 = 0,3 + 0,6 ≈ 0,9 секунды на обращение. 3 000 обращений займут около 45 минут чистой работы карты. Остальное время рабочего дня карта ждёт новых обращений, и это нормально: вы платите за то, что сервер включён и отвечает сразу.

Ваши цифры могут отличаться в 1,5–2 раза в зависимости от длины обращений и настроек. Замерьте на своей выборке перед расчётом бюджета.

Поток обращений Задачи Модель Карта
до 1 000 в день классификация, извлечение 9–14B 16 ГБ, от 21 ₽/час
1 000–5 000 в день всё, включая черновики 27–31B в 4 битах RTX 4090, 54 ₽/час
5 000–20 000 в день всё, пиковые нагрузки 27–31B в 8 битах RTX 5090 или A100
больше 20 000 в день всё + ответы без оператора 27B+ несколько карт с балансировкой

Сколько стоит в месяц

Аренда поминутная, поэтому главный вопрос в том, сколько часов сервер должен быть включён.

Стоимость в месяц = тариф, ₽/час × часы работы в день × рабочие дни

Режим Часов в месяц RTX 4060 Ti 16 ГБ RTX 4090
Будни, 10 часов 220 4 620 ₽ 11 880 ₽
Каждый день, 12 часов 360 7 560 ₽ 19 440 ₽
Круглосуточно 720 15 120 ₽ 38 880 ₽

Если поддержка работает в рабочие часы, держать сервер ночью незачем: обращения, пришедшие ночью, разберутся утром за несколько минут. Включение и выключение по расписанию сокращают счёт вдвое и больше. Если нужен круглосуточный разбор, карту на 16 ГБ с моделью 9B можно держать ночью, а днём включать большую.

Сравните это со временем операторов. Если черновики и автозаполнение экономят каждому оператору хотя бы час в день, команда из пяти человек получает 100+ часов в месяц, а это дороже аренды в разы.

Как внедрять без риска

  1. Начните с классификации. Модель только ставит теги и срочность, ничего не пишет клиенту. Ошибка здесь стоит минуту оператора на перенос тикета.
  2. Добавьте черновики во внутренние комментарии. Клиент их не видит, оператор решает, использовать или нет. Считайте долю черновиков, которые отправлены без правок или с мелкими правками.
  3. Автоответы — только на узкий список. Статус заказа по номеру, график работы, ссылки на инструкции. Всё, что касается денег и претензий, идёт только через человека.
  4. Регулярно разбирайте ошибки. Раз в неделю смотрите 30–50 случаев, где оператор сильно переписал черновик. Это лучший источник для улучшения промпта и базы знаний.

Похожая система на документах компании разобрана в кейсе ИИ-ассистент по документам на своей LLM.

Как понять, что система работает

Без цифр легко принять удачные примеры за общий результат. Перед запуском зафиксируйте исходные показатели поддержки, а через месяц сравните.

Метрика Как считать Чего ждать
Точность классификации доля обращений, которые операторы не переносили в другую очередь от 90%
Время первого ответа от поступления обращения до первого ответа клиенту снижение за счёт приоритета срочных
Доля полезных черновиков черновики, отправленные без правок или с мелкими правками 40–70% на типовых темах
Время на обращение среднее время работы оператора с тикетом снижение на типовых вопросах
Повторные обращения клиент пишет снова по той же проблеме не должно расти

Последняя строка служит контрольной. Если черновики формально экономят время, но клиенты чаще пишут повторно, значит, ответы стали хуже, и экономия ложная.

Данные и безопасность

Несколько правил, которые стоит заложить с первого дня:

  • Минимум данных в промпте. Модели для классификации не нужны телефон и адрес клиента. Маскируйте лишние персональные данные до отправки в модель.
  • Логи под контролем. vLLM и ваш сервис могут писать промпты в журналы. Решите заранее, где они хранятся, сколько и кто имеет к ним доступ.
  • Закрытый API. Сервер модели не должен быть доступен из интернета без ключа. Подключайтесь к нему через SSH-туннель или закрытую сеть.
  • Результаты — во внутренние поля. Пока система не проверена, всё, что генерирует модель, попадает во внутренние комментарии тикета, а не клиенту.

Когда дообучать модель на своих ответах

Промпта и базы знаний обычно хватает на первые месяцы. Дообучение имеет смысл, когда накопилось несколько тысяч обращений с хорошими ответами операторов и видно, что модель пишет правильно по смыслу, но не так, как принято в компании: тон, длина, обязательные фразы, порядок действий.

Для этого достаточно LoRA поверх той же модели: несколько тысяч пар «обращение — ответ» дообучаются за несколько часов на одной карте на 24–48 ГБ. Перед обучением уберите из данных персональные данные и ответы, которые операторы потом исправляли: модель выучит и ошибки тоже.

Своя нейросеть для поддержки клиентов складывается из vLLM с моделью на 9–31B, поиска по базе знаний и небольшого скрипта между хелпдеском и моделью. Одна RTX 4090 разбирает тысячи обращений в день, а месяц работы в рабочие часы стоит около 11 880 ₽. Начинайте с сортировки и извлечения данных, затем добавляйте черновики для операторов, и только потом — автоответы на простые вопросы.

Поднимите модель на аренде GPU для ИИ и прогоните на ней 300 своих прошлых обращений: это займёт меньше часа.

Вопросы по теме

Что может нейросеть в поддержке клиентов?

Определить тему и срочность обращения и направить его нужной группе, вытащить из текста номер заказа, телефон и суть проблемы, найти ответ в базе знаний и подготовить черновик для оператора, кратко пересказать длинную переписку. Отправлять ответы клиентам без проверки человеком на старте не стоит.

Сколько стоит своя LLM для поддержки клиентов?

Одна RTX 4090 за 54 ₽/час обрабатывает около 3 000 обращений за рабочий день. Если держать сервер включённым 10 часов в будни, месяц обойдётся примерно в 11 880 ₽, круглосуточно — около 38 880 ₽. Оплата поминутная.

Какую модель взять для поддержки клиентов на русском?

Для разбора и классификации обращений хватает моделей на 8–14B, например Qwen3.5 9B или Ministral 3 14B. Для черновиков ответов по базе знаний лучше модели на 27–31B в 4 битах, например Qwen3.6 27B или Gemma 4 31B. Обе группы работают на одной карте на 24 ГБ.

Зачем своя LLM, если есть готовые API?

Обращения клиентов содержат персональные данные: имена, телефоны, адреса, номера заказов. На своей модели они не уходят к стороннему провайдеру, и вы сами контролируете, где хранятся логи. Кроме того, у своей модели предсказуемая цена, не зависящая от числа токенов.

Подберите GPU

Все видеокарты каталога с поминутной оплатой в рублях.