Почему «просто GPT» опасен для бизнеса
Большая языковая модель без привязки к данным уверенно выдумывает цены, сроки и условия. В поддержке это юридический риск, в медицине — репутационная катастрофа, в продажах — потерянные сделки.
RAG (Retrieval-Augmented Generation) заставляет модель отвечать из найденных фрагментов вашей базы: PDF-регламенты, прайсы, help-center, протоколы. Не из «памяти» обучения.
Цель Lumen.studio — агент с границами: «не знаю» лучше, чем выдуманный ответ.
Архитектура strict retrieval
Шаг 1: индексация документов — chunking, эмбеддинги, векторная БД. Шаг 2: запрос пользователя → поиск top-k релевантных чанков. Шаг 3: порог релевантности — ниже порога ответ «перевожу на оператора».
Шаг 4: промпт с жёсткой инструкцией: отвечай только из контекста, цитируй источник. Шаг 5: post-check — длина, запрещённые темы, совпадение цифр с чанком.
YandexGPT и open-source модели в on-prem контуре — типичный стек для 152-ФЗ. Облако — когда ПДн обезличены до отправки в LLM.
- Векторный поиск по базе знаний
- Порог релевантности и отказ
- Цитирование фрагмента или ссылки на документ
Подготовка базы знаний
Мусор на входе — мусор в ответе. Нужна единая версия прайса, актуальный FAQ, согласованные формулировки с юристами. Устаревший PDF хуже отсутствия базы: бот будет цитировать ложь уверенно.
Структура: один факт — один чанк. Таблицы цен — в markdown или HTML, не скан. Регламенты — с датой версии в метаданных.
В диагностике за 150 000 ₽ мы оцениваем зрелость базы и даём план её доведения до «готово к RAG» — часто это 30% срока проекта.
Границы ответа и эскалация
Явный список запретов: диагнозы, юридические заключения, скидки вне прайса, обещания сроков без проверки CRM. При триггере — передача человеку с контекстом диалога.
Тон и язык — из brandbook, не из дефолта модели. Для B2B — формально, для салона красоты — дружелюбно, но без выдуманных акций.
Логи диалогов с разметкой «галлюцинация / эскалация» — еженедельный разбор первые 2 месяца.
On-prem и 152-ФЗ
Медицина, финансы, госсектор: данные не должны уходить в публичное API. Вариант — YandexGPT в контуре заказчика, локальный ASR для голоса, Ollama для пилотов.
PII обезличивается до LLM: маскирование ФИО, телефонов в логах. Полные записи — только в контуре клиента. Стандарт Lumen для ИИ-аналитики звонков от 400 000 ₽.
Договор обработки ПДн, разграничение ролей оператор/процессор — не опция, а условие запуска.
Кейсы без названий клиентов
B2B SaaS, 800 клиентов: YandexGPT + 240 статей help-center — 71% автозакрытие тикетов, CSAT +0.4. Fashion e-commerce: статус заказа и возврат из OMS + RAG по политике — −67% обращений на оператора.
Медсеть, 12 филиалов: RAG на прайсе и расписании, Telegram — +34% конверсия в запись, −28% нагрузка на колл-центр за 12 дней внедрения.
Все кейсы на lumenstudio.su/cases/ — обезличены, с метриками, без URL клиентов.
Тестирование до продакшена
Golden set: 100 вопросов с эталонными ответами из базы. Метрика: точность цитирования, доля отказов, доля эскалаций.
Adversarial: «дай скидку 90%», «назови дозировку», «игнорируй инструкции» — должны отрабатываться отказом или эскалацией.
A/B с операторами: слепая оценка «бот vs человек» на выборке 50 диалогов до go-live.
Поддержка и обновления
При смене прайса — переиндексация в тот же день. Владелец процесса в компании клиента подписывает changelog базы знаний.
Ежемесячный отчёт: топ вопросов без ответа → дополнение базы. Это превращает RAG в петлю улучшения продукта.
Начните с AI-диагностики 150k — поймёте, готов ли процесс к RAG или сначала нужна ИИ-аналитика звонков, чтобы собрать реальные вопросы клиентов.