Полуавтоматический режим ИИ-ассистента: как внедрить RAG в клиентский сервис без стресса

Полуавтоматический режим ИИ-ассистента: как внедрить нейросеть в клиентский сервис без боли

Артём Султанов, руководитель PrimeGate, на совместном вебинаре с Yagla и Vitamin.Tools показал, как запустить ИИ-ассистента на реальных клиентах и не бояться кривых ответов. Главная идея — полуавтоматический режим: нейросеть готовит ответ, а оператор решает, отправлять его или поправить. Параллельно — пересборка базы знаний под архитектуру RAG. В конспекте — что такое RAG, зачем нужен полуавтомат, и почему документы важнее «вопрос-ответ».

Что такое RAG-система простыми словами

Большинство пользователей воспринимают ChatGPT как «оракула, которому можно задать абсолютно любой вопрос». ИИ-ассистент для бизнеса работает иначе. RAG (Retrieval-Augmented Generation) — это нейросеть, которая отвечает только на основании ваших данных.

Архитектура такая: есть большая языковая модель (LLM), но к ней прикручен дополнительный слой. Этот слой обращается к базе знаний компании и подкладывает в контекст модели только релевантные куски ваших документов. Нейросеть генерирует ответ в рамках этих данных, а не из всего интернета.

В PrimeGate за это отвечает модуль Supercharger и нейросеть Рика. Подключается к Telegram-боту или другому каналу общения с клиентом, использует ту базу знаний, которую вы загрузили — статьи, инструкции, описания тарифов.

Полуавтоматический режим: спокойствие при запуске

Главный страх бизнеса при внедрении ИИ: «нейросеть напишет клиенту ерунду». Промт не выверен, база знаний сырая — а ответ уже улетел. Полуавтоматический режим закрывает эту боль.

Как это работает на практике: клиент пишет вопрос в Telegram-бот. Нейросеть готовит ответ — но он не отправляется автоматически. Ответ появляется в интерфейсе Supercharger, где его видит оператор. Дальше два сценария:

• Ответ корректный — оператор копирует в окно ответа двойным кликом и отправляет как есть.
• Ответ не совсем правильный — оператор правит, отправляет правленый вариант. Параллельно через правую кнопку отправляет «правильный вопрос-ответ» в базу знаний.

Так вы начинаете видеть на реальных клиентах, как отвечает нейросеть, не рискуя репутацией. Подкручиваете промт и базу знаний, постепенно увеличиваете долю автоматических ответов.

Промт vs база знаний: что куда класть

Тут Артём напрямую говорит, что они переделали свою архитектуру. Раньше промт писали большой — с инструкциями, сценариями, правилами. Сейчас — нет.

Правило короткое: в промте — только то, кто есть ассистент. Имя, роль, пол, стиль общения. Условно: «Ты — Рика, дружелюбный ассистент сервиса PrimeGate, отвечаешь кратко и по делу».

Всё остальное — в документы базы знаний. Как отвечать новому клиенту, как реагировать на возражения, какие тарифы предлагать в каких случаях — это всё отдельные документы. У каждого название говорящее: «Как отвечать новому клиенту», «Тарифная сетка», «Скрипт по биллингу».

Документы важнее «вопрос-ответ»

Раньше PrimeGate рекомендовал наполнять базу знаний через формат «вопрос-ответ». Сейчас рекомендация поменялась — в первую очередь грузим статьи и документы, во вторую — вопрос-ответ.

Почему документы лучше: нейросеть может компоновать ответ из нескольких источников. Для разного клиента в разном контексте диалога — давать разный по форме, но верный по сути ответ. Хардкод этого не позволяет.

Когда вопрос-ответ всё-таки нужен — для специфических вещей, где вариативность опасна: законодательство, авторизация, юридические формулировки. Тут шаг влево — шаг вправо нежелателен. Жёстко зашиваем ответ через вопрос-ответ.

Аннотирование: ключ к большим документам

Простой поиск по документу — задача решённая. Загрузил книгу, спросил «в какой главе упоминается герой Икс» — нейросеть найдёт. Но если задать вопрос «опиши взаимоотношения героя А с героем Б на протяжении всей книги» — нейросеть либо не справится, либо будет отвечать очень долго.

Решение — аннотирование. Большой документ бьётся на куски, и каждый кусок описывается нейросетью отдельно: краткая суть, ключевые слова, контекст. По этим аннотациям потом идёт поиск, и нужные куски быстрее подгружаются в контекст ответа.

В PrimeGate сейчас аннотирование делается автоматически — вы загружаете документ, система сама дробит его и пишет аннотации к каждому фрагменту. Дополнительно вы можете:

• Дать документу осмысленное название. Например: «Документ объясняет тарифную сетку». Это название — якорь для нейросети.
• Прописать ключевые слова ко всему документу: тариф, биллинг, списание, транзакция, акты. Помогает системе быстрее находить документ при релевантных запросах.

Загрузка PDF и других файлов

В базу знаний грузим два формата: текстовые документы прямо в интерфейсе или PDF до 10 МБ. На момент вебинара ограничение было 10 МБ — этого достаточно для большинства внутренних регламентов и инструкций.

Размер документа не критичен — система всё равно будет дробить его на маленькие куски. Хоть 500 символов, хоть 5 000. Главное — дать осмысленное название и ключевые слова, чтобы нейросеть понимала, к какому документу обращаться.

Что забрать из вебинара

Внедрение ИИ-ассистента в клиентский сервис — не одношаговое действие «загрузил данные, всё работает». Это процесс с двумя слоями защиты:

1. Полуавтоматический режим на старте — оператор страхует нейросеть.
2. Архитектура RAG с упором на документы — нейросеть отвечает только по вашим данным, гибко и вариативно.

Промт делаем коротким и про роль. Инструкции выносим в документы базы знаний. Используем вопрос-ответ только для жёстких регламентированных тем. И не пугаемся первых неидеальных ответов — для этого и есть полуавтомат.