Есть два способа тестировать ИИ-продавца.
Первый — открыть чат и написать:
— Здравствуйте, хочу купить ваши услуги.
ИИ красиво ответит. Вы зададите ещё пару удобных вопросов. Он вежливо проведёт вас по сценарию.
Все счастливы.
Можно делать скриншот и писать в презентации:
«ИИ успешно заменяет отдел продаж».
А есть второй способ.
Отдать ему настоящих людей.
Которые не знают ваш сценарий. Не собираются помогать нейросети проходить тест. Отвечают одним словом. Перескакивают с темы на тему. Исчезают. Возвращаются. Пишут что-то вроде:
— да чето продаж мало стало
И вот здесь начинается настоящее веселье.
Я как раз дошёл до этой стадии со своим ИИ-продавцом.
И довольно быстро выяснилось, что сделать бота, который умеет разговаривать, — сравнительно легко.
Сделать систему, которая умеет продавать, — совсем другая задача.
На тестах всё было прекрасно
Когда мы только собирали логику продавца, всё выглядело очень прилично.
Есть продукт.
Есть информация о компании.
Есть правила диалога.
Есть задача: понять проблему клиента, квалифицировать его и довести до следующего шага.
Пишем тестовый запрос:
Мне нужны клиенты.
ИИ отвечает.
Уточняет.
Развивает разговор.
Вроде бы всё хорошо.
Но в таких тестах есть одна неприятная особенность.
Мы сами подсознательно играем за обе стороны.
Я знаю, какую информацию продавцу нужно получить. Поэтому, выступая клиентом, рано или поздно эту информацию ему даю.
Настоящий человек ничего этого не знает.
И вообще никому ничего не должен.
Первый сюрприз: люди отвечают совсем не так, как предусмотрено сценарием
Классическая логика продаж выглядит красиво:
- выяснить текущую ситуацию;
- определить проблему;
- понять желаемый результат;
- уточнить продукт;
- квалифицировать клиента;
- предложить следующий шаг.
На бумаге отлично.
А потом приходит человек:
— Продаж мало.
— Как сейчас получаете заявки?
— Авито.
— Как их обрабатываете?
— Сам.
— Что вас не устраивает?
— Некогда.
И всё это вполне нормальный человеческий разговор.
Только для машины возникает проблема.
Потому что информация приходит кусочками.
В одной фразе человек одновременно может сообщить проблему, источник лидов и причину потерь.
Например:
«Заявки с Авито отвечаю сам, но иногда интернет плохой и половину не замечаю».
Человек-продавец услышит здесь сразу несколько вещей.
Есть поток заявок.
Канал уже работает.
Проблема не обязательно в рекламе.
Есть потери на обработке.
Есть понятное место для автоматизации.
А плохо настроенный ИИ видит:
Ответ на вопрос №2 получен. Переходим к вопросу №3.
И спрашивает:
А что вас не устраивает в текущем процессе?
Хотя клиент буквально только что это рассказал.
Вот здесь ИИ впервые начинает пахнуть ботом.
Вторая проблема: нейросеть очень любит показать, что она всё поняла
Это вообще забавная болезнь.
Человек говорит:
— Иногда не успеваю отвечать.
ИИ:
— Понимаю, это классическая проблема потери клиентов из-за несвоевременной обработки заявок.
Спасибо, профессор.
Клиент и так знает, что у него проблема.
Он пришёл не сдавать зачёт по маркетингу.
Если такие конструкции повторяются после каждого ответа, получается удивительный диалог:
— Продаж мало.
— Понимаю, снижение продаж является распространённой проблемой бизнеса.
— Сам отвечаю на заявки.
— Понимаю, ручная обработка заявок может отнимать значительное количество времени.
— Не успеваю.
— Понимаю, нехватка времени является распространённой причиной потери потенциальных клиентов.
На четвёртом «понимаю» хочется спросить:
Ты меня понимаешь или резюме пишешь?
Пришлось отдельно учить продавца простой вещи:
не надо после каждой реплики клиента демонстрировать работу мозга.
Иногда достаточно:
— Понял. А откуда обычно приходят заявки?
И всё.
Внезапно разговор начинает звучать гораздо человечнее.
Самая опасная ошибка — продавец начинает фантазировать
Вот это уже не стилистика.
Это реальная проблема.
Большая языковая модель устроена так, что ей очень хочется дать полезный ответ.
Не знает цену?
Может попробовать вывести её из контекста.
Не хватает характеристики услуги?
Иногда модель решает, что примерно понимает, как всё устроено.
Не знает срок?
Может назвать «типичный».
Для обычного разговора это иногда выглядит даже впечатляюще.
Для бизнеса — прекрасно ровно до момента, когда ИИ сообщит клиенту условное:
«Да, подключение займёт два дня».
А в компании на это требуется две недели.
Поэтому одно из первых правил, которое пришлось буквально вбивать в архитектуру:
не знаешь — не додумывай.
Нет информации о цене — спроси или передай человеку.
Нет информации о сроках — не обещай.
Не уверен в продукте — уточни.
Потому что хорошая галлюцинация от плохой отличается только тем, насколько дорого она потом обойдётся.
Ещё один косяк: ИИ слишком хочет закончить анкету
Вот здесь хорошо видно разницу между чат-ботом и продавцом.
Чат-боту дали список:
- проблема;
- продукт;
- бюджет;
- сроки;
- источник заявок;
- желаемый результат.
И он честно начинает собирать данные.
Получается допрос.
Какой у вас продукт?
Какой средний чек?
Сколько заявок получаете?
Какой рекламный бюджет?
Кто принимает решение?
Когда планируете запуск?
Формально всё правильно.
Только живой человек уже ушёл.
Потому что он не устраивался на работу в ваш CRM.
Хороший продавец постоянно решает:
мне действительно нужно знать это прямо сейчас?
Если человек уже описал главную боль, продукт понятен, запрос подходит, а следующий логичный шаг — показать решение, зачем ещё семь вопросов?
Чтобы красиво заполнить карточку?
Вот здесь пришлось менять сам принцип.
Не:
собрать все возможные данные.
А:
собрать минимум данных, достаточный для следующего решения.
Это очень большая разница.
Но потом произошло самое интересное
После нескольких таких правок диалог неожиданно начал становиться нормальным.
Например, человек пишет:
— Да чё-то продаж мало стало.
Продавец не лезет сразу рассказывать про искусственный интеллект.
Он спрашивает:
— Как сейчас устроено получение и обработка заявок?
Клиент:
— Заявки с Авито отвечаю сам.
Дальше становится понятно, куда копать.
В итоге выясняется:
человек отвечает вручную;
времени не хватает;
иногда плохой интернет;
часть обращений он просто не замечает;
ему нужны не красивые отчёты, а больше реальных клиентов.
Вот теперь уже можно говорить о решении.
Не потому что в сценарии дошли до пункта №7.
А потому что контекст созрел.
И именно здесь я впервые почувствовал, что мы делаем не просто очередного чат-бота.
Реальный продавец — это машина состояний
Звучит не очень романтично, зато точно.
ИИ-продавцу недостаточно текста инструкции:
«Общайся дружелюбно и продавай наш продукт».
Ему нужно понимать состояние диалога.
Что уже известно?
Что пока неизвестно?
Какие данные обязательны?
Что человек уже сказал косвенно?
Есть ли вообще проблема, которую мы решаем?
Насколько клиент целевой?
Можно ли уже переходить к предложению?
Нужно ли продолжать выяснять?
Пора ли передавать менеджеру?
И очень важно:
что нельзя делать на этой стадии.
Например, если клиент только написал первое сообщение, не надо выдавать ему коммерческое предложение на две страницы.
Если уже согласен на следующий шаг — не надо снова возвращаться к диагностике.
Если трижды уклонился от ответа на вопрос — возможно, этот вопрос ему вообще неинтересен.
Для человека такие решения почти автоматические.
Для ИИ их приходится превращать в архитектуру.
Я сначала думал, что главное — хороший промпт
Вот это, пожалуй, самый полезный вывод из эксперимента.
Когда я начинал делать ИИ-продавцов, казалось, что нужен очень хороший системный промпт.
Большой.
Подробный.
Умный.
В котором всё предусмотрено.
Сейчас я думаю немного иначе.
Промпт важен.
Но хороший ИИ-продавец — это не промпт.
Это система.
У неё есть:
контекст клиента;
база знаний;
память разговора;
состояние сделки;
правила переходов;
ограничения;
инструменты;
критерии квалификации;
передача человеку;
логирование;
контроль ошибок.
А сама нейросеть внутри всего этого — всего лишь один из элементов.
Очень мощный.
Но один.
И тут всплыла ещё одна проблема — техника
Пока мы разговариваем про интеллект, очень легко забыть, что вокруг него обычный софт.
А обычный софт умеет падать.
В одном из реальных проходов лид спокойно дошёл до нужного состояния и был квалифицирован.
На другом процесс завис.
Не потому что модель вдруг потеряла способность разговаривать.
А потому что где-то в цепочке обработки возник технический сбой.
И вот это хороший холодный душ.
Можно сделать великолепного агента.
Но если событие не записалось, задача зависла или интеграция не передала результат дальше — клиенту совершенно всё равно, насколько умная модель стояла внутри.
Для него система просто не работает.
Поэтому сегодня я гораздо больше смотрю не на:
«Какой красивый ответ дала нейросеть?»
А на:
«Прошёл ли лид весь маршрут от первого сообщения до следующего бизнес-действия?»
Вот это уже настоящая метрика.
Когда ИИ-продавец считается успешным?
Не когда он красиво разговаривает.
Не когда проходит мои тесты.
Не когда коллеги говорят:
«Прикольно отвечает».
И даже не когда клиент не понял, что разговаривал с ИИ.
Это вообще вторично.
Успех — когда система стабильно делает бизнес-работу:
не теряет обращение;
понимает запрос;
не задаёт идиотские повторные вопросы;
не фантазирует;
собирает нужную информацию;
распознаёт целевого клиента;
доводит до следующего шага;
в нужный момент отдаёт человека менеджеру;
и после этого оставляет нормальную историю того, что произошло.
Вот тогда можно говорить о продавце.
До этого у нас просто очень разговорчивый интерфейс.
И знаете что? Косяки меня как раз радуют
Потому что тест, на котором ничего не ломается, почти бесполезен.
Если ИИ прекрасно продаёт мне мой же продукт в созданном мной сценарии — я выяснил только одно:
я умею играть роль удобного клиента.
Настоящий материал начинается, когда в систему приходят люди.
Неидеальные.
Непредсказуемые.
Которые пишут не так.
Отвечают не на тот вопрос.
Не знают профессиональных терминов.
Передумывают.
Исчезают.
Возвращаются через два часа со словами:
— короче а сколько стоит?
И если система научится нормально работать именно с ними — вот тогда у бизнеса действительно появляется новый инструмент.
Не виртуальный «сотрудник будущего».
А очень конкретный механизм, который не спит, не забывает открыть сообщение и не теряет заявку только потому, что в этот момент ехал в лифте без интернета.
И мне кажется, мы к этому уже довольно близко.
Но несколько раз по лбу он меня ещё точно ударит.
И это нормально.