11 ноября 2026 г. · Анатолий Крылов, редактор Терафермы
Нейросеть для поддержки клиентов на своей LLM: разбор обращений и черновики ответов
Нейросеть для поддержки клиентов на своей LLM решает три задачи: сортирует обращения по теме и срочности, достаёт из текста номер заказа и суть проблемы и готовит черновик ответа по базе знаний, который оператор проверяет и отправляет. Одна арендованная RTX 4090 за 54 ₽/час с моделью на 27B в 4 битах обрабатывает около 3 000 обращений за рабочий день. Месяц работы по 10 часов в будни обойдётся примерно в 11 880 ₽.
Что нейросеть делает в поддержке
Полностью заменить оператора нейросетью рискованно: одна неверная фраза про возврат денег стоит дороже месяца работы сервера. Зато рутину вокруг ответа модель снимает почти целиком.
| Задача | Что на входе | Что на выходе | Размер модели |
|---|---|---|---|
| Классификация | текст обращения | тема, отдел, срочность | 8–14B |
| Извлечение данных | текст обращения | номер заказа, телефон, товар — в JSON | 8–14B |
| Тональность | текст обращения | недоволен ли клиент, угроза ухода | 8–14B |
| Черновик ответа | обращение + статьи базы знаний | готовый текст для оператора | 27–31B |
| Резюме переписки | вся история диалога | 3–5 строк сути | 14–27B |
| Ответы на частые вопросы без оператора | вопрос + база знаний | ответ клиенту | 27B+ и строгие правила |
Первые три задачи дают эффект быстрее всего. Обращения сразу попадают в нужную очередь, срочные и злые не ждут в общей куче, а оператор открывает тикет с уже заполненными полями.
Черновики ответов идут следующим шагом. Оператор не пишет с нуля, а правит готовый текст. На типовых вопросах вроде статуса заказа, сроков доставки и возврата правка занимает секунды.
Почему своя модель, а не API
Персональные данные. В обращениях встречаются имена, телефоны, адреса, номера карт лояльности. При использовании зарубежного API эти данные уходят за границу, а это отдельная юридическая тема. На своей модели, запущенной на арендованной GPU, текст обрабатывается на сервере, которым управляете вы, и никуда не пересылается. Как именно оформить обработку данных у себя, обсудите с юристом.
Предсказуемая цена. Арендованная карта стоит одинаково за час, сколько бы обращений она ни разобрала. Всплеск обращений после рассылки не превращается в неожиданный счёт за токены.
Свои правила. Модель можно дообучить на ваших прошлых ответах, чтобы она писала в тоне компании, и жёстко ограничить промптом: не обещать компенсаций, не называть сроки, которых нет в базе знаний.
Подробнее о расчёте «своя модель или API» читайте в статье про Telegram-бота на своей нейросети: там та же связка, только канал другой.
Схема работы
Типовая архитектура состоит из четырёх частей:
- Хелпдеск — система, где живут обращения. Она отправляет новое обращение в ваш сервис через вебхук или вы забираете их по API.
- Сервис-посредник — небольшой скрипт на Python. Он получает обращение, собирает промпт, вызывает модель и записывает результат обратно в тикет: тему, теги, срочность, черновик во внутреннем комментарии.
- LLM-сервер — vLLM на арендованной GPU с OpenAI-совместимым API. Сервис обращается к нему так же, как к любому облачному API, только по адресу своего сервера.
- Поиск по базе знаний — векторная база (например, Qdrant) и модель эмбеддингов для русского языка (например, bge-m3 или multilingual-e5). Она находит 3–5 статей, похожих на вопрос клиента, и их текст подставляется в промпт.
Модель запускается одной командой:
vllm serve Qwen/Qwen3.6-27B-AWQ --max-model-len 16384 --gpu-memory-utilization 0.9
Модель эмбеддингов маленькая, 0,5–2 ГБ, и помещается на ту же карту рядом с LLM. Готовые команды и параметры vLLM собраны на странице запуск vLLM.
Промпт для разбора обращения
Для классификации и извлечения данных просите у модели строгий JSON. vLLM умеет ограничивать ответ схемой (structured outputs), тогда модель физически не сможет вернуть невалидный ответ.
Ты разбираешь обращения в поддержку интернет-магазина.
Верни JSON: {"topic": одна из [доставка, возврат, оплата, товар, аккаунт, другое],
"urgency": одна из [низкая, обычная, высокая],
"order_id": строка или null, "angry": true/false, "summary": до 20 слов}.
Обращение: <текст>
Для черновика ответа добавьте статьи из базы знаний и правила: отвечай только по приведённым статьям, если ответа нет — напиши «нужен оператор», не обещай сроков и компенсаций.
Перед запуском соберите 200–300 реальных обращений с правильной разметкой и сравните с ответами модели. Если точность классификации ниже 90%, уточните список тем и добавьте в промпт по два-три примера на каждую.
Сколько мощности нужно
Нагрузка считается в токенах. Типовое обращение с инструкцией и статьями базы знаний занимает около 1 500 входящих токенов, ответ модели — около 300.
Секунды GPU на обращение ≈ входящие токены ÷ скорость чтения + исходящие токены ÷ скорость генерации
vLLM обрабатывает много запросов одновременно, поэтому суммарная скорость в разы выше, чем у одного чата. Для модели 27B в 4 битах на RTX 4090 ориентир такой: несколько тысяч токенов в секунду на чтение и 400–600 токенов в секунду на генерацию в пачке запросов.
Пример: 1 500 ÷ 5 000 + 300 ÷ 500 = 0,3 + 0,6 ≈ 0,9 секунды на обращение. 3 000 обращений займут около 45 минут чистой работы карты. Остальное время рабочего дня карта ждёт новых обращений, и это нормально: вы платите за то, что сервер включён и отвечает сразу.
Ваши цифры могут отличаться в 1,5–2 раза в зависимости от длины обращений и настроек. Замерьте на своей выборке перед расчётом бюджета.
| Поток обращений | Задачи | Модель | Карта |
|---|---|---|---|
| до 1 000 в день | классификация, извлечение | 9–14B | 16 ГБ, от 21 ₽/час |
| 1 000–5 000 в день | всё, включая черновики | 27–31B в 4 битах | RTX 4090, 54 ₽/час |
| 5 000–20 000 в день | всё, пиковые нагрузки | 27–31B в 8 битах | RTX 5090 или A100 |
| больше 20 000 в день | всё + ответы без оператора | 27B+ | несколько карт с балансировкой |
Сколько стоит в месяц
Аренда поминутная, поэтому главный вопрос в том, сколько часов сервер должен быть включён.
Стоимость в месяц = тариф, ₽/час × часы работы в день × рабочие дни
| Режим | Часов в месяц | RTX 4060 Ti 16 ГБ | RTX 4090 |
|---|---|---|---|
| Будни, 10 часов | 220 | 4 620 ₽ | 11 880 ₽ |
| Каждый день, 12 часов | 360 | 7 560 ₽ | 19 440 ₽ |
| Круглосуточно | 720 | 15 120 ₽ | 38 880 ₽ |
Если поддержка работает в рабочие часы, держать сервер ночью незачем: обращения, пришедшие ночью, разберутся утром за несколько минут. Включение и выключение по расписанию сокращают счёт вдвое и больше. Если нужен круглосуточный разбор, карту на 16 ГБ с моделью 9B можно держать ночью, а днём включать большую.
Сравните это со временем операторов. Если черновики и автозаполнение экономят каждому оператору хотя бы час в день, команда из пяти человек получает 100+ часов в месяц, а это дороже аренды в разы.
Как внедрять без риска
- Начните с классификации. Модель только ставит теги и срочность, ничего не пишет клиенту. Ошибка здесь стоит минуту оператора на перенос тикета.
- Добавьте черновики во внутренние комментарии. Клиент их не видит, оператор решает, использовать или нет. Считайте долю черновиков, которые отправлены без правок или с мелкими правками.
- Автоответы — только на узкий список. Статус заказа по номеру, график работы, ссылки на инструкции. Всё, что касается денег и претензий, идёт только через человека.
- Регулярно разбирайте ошибки. Раз в неделю смотрите 30–50 случаев, где оператор сильно переписал черновик. Это лучший источник для улучшения промпта и базы знаний.
Похожая система на документах компании разобрана в кейсе ИИ-ассистент по документам на своей LLM.
Как понять, что система работает
Без цифр легко принять удачные примеры за общий результат. Перед запуском зафиксируйте исходные показатели поддержки, а через месяц сравните.
| Метрика | Как считать | Чего ждать |
|---|---|---|
| Точность классификации | доля обращений, которые операторы не переносили в другую очередь | от 90% |
| Время первого ответа | от поступления обращения до первого ответа клиенту | снижение за счёт приоритета срочных |
| Доля полезных черновиков | черновики, отправленные без правок или с мелкими правками | 40–70% на типовых темах |
| Время на обращение | среднее время работы оператора с тикетом | снижение на типовых вопросах |
| Повторные обращения | клиент пишет снова по той же проблеме | не должно расти |
Последняя строка служит контрольной. Если черновики формально экономят время, но клиенты чаще пишут повторно, значит, ответы стали хуже, и экономия ложная.
Данные и безопасность
Несколько правил, которые стоит заложить с первого дня:
- Минимум данных в промпте. Модели для классификации не нужны телефон и адрес клиента. Маскируйте лишние персональные данные до отправки в модель.
- Логи под контролем. vLLM и ваш сервис могут писать промпты в журналы. Решите заранее, где они хранятся, сколько и кто имеет к ним доступ.
- Закрытый API. Сервер модели не должен быть доступен из интернета без ключа. Подключайтесь к нему через SSH-туннель или закрытую сеть.
- Результаты — во внутренние поля. Пока система не проверена, всё, что генерирует модель, попадает во внутренние комментарии тикета, а не клиенту.
Когда дообучать модель на своих ответах
Промпта и базы знаний обычно хватает на первые месяцы. Дообучение имеет смысл, когда накопилось несколько тысяч обращений с хорошими ответами операторов и видно, что модель пишет правильно по смыслу, но не так, как принято в компании: тон, длина, обязательные фразы, порядок действий.
Для этого достаточно LoRA поверх той же модели: несколько тысяч пар «обращение — ответ» дообучаются за несколько часов на одной карте на 24–48 ГБ. Перед обучением уберите из данных персональные данные и ответы, которые операторы потом исправляли: модель выучит и ошибки тоже.
Своя нейросеть для поддержки клиентов складывается из vLLM с моделью на 9–31B, поиска по базе знаний и небольшого скрипта между хелпдеском и моделью. Одна RTX 4090 разбирает тысячи обращений в день, а месяц работы в рабочие часы стоит около 11 880 ₽. Начинайте с сортировки и извлечения данных, затем добавляйте черновики для операторов, и только потом — автоответы на простые вопросы.
Поднимите модель на аренде GPU для ИИ и прогоните на ней 300 своих прошлых обращений: это займёт меньше часа.