Сегодня человека довольно сложно удивить разговором с машиной.

Мы спокойно пишем нейросети:

— Переделай коммерческое предложение, посчитай экономику проекта и заодно объясни, почему у меня Docker опять решил умереть именно вечером.

Она что-то отвечает.

Иногда очень умно.

Иногда так убедительно несёт чушь, что даже начинаешь уважать уверенность.

Но самое интересное произошло задолго до ChatGPT. В середине 1960-х компьютерная программа, которая не понимала практически ничего из сказанного человеком, умудрялась создавать ощущение настоящего собеседника.

Её звали ELIZA.

И история эта мне особенно нравится потому, что больше полувека назад она показала проблему, с которой мы до сих пор никуда не делись:

человеку очень легко увидеть разум там, где машина всего лишь достаточно правдоподобно отвечает.

Машины тогда вообще были другими

Надо понимать эпоху.

Сейчас компьютер — это штука, которую ребёнок носит в кармане и возмущается, если видео грузится дольше двух секунд.

В 1960-е компьютер был огромной, дорогой машиной, стоящей где-нибудь в университете, лаборатории или крупной организации.

Работа с ним мало напоминала современный чат.

Программу готовили.

Данные вводили.

Машина считала.

Получали результат.

Компьютер воспринимался прежде всего как вычислитель.

И вот в Массачусетском технологическом институте профессор Джозеф Вайценбаум решил попробовать нечто другое.

Сделать программу, с которой можно разговаривать обычным языком.

Так появилась ELIZA.

Название, кстати, было отсылкой к Элизе Дулиттл из пьесы Бернарда Шоу «Пигмалион» — девушке, которую учили говорить иначе.

Очень подходящее имя для программы, которую тоже пытались научить изображать разговор.

ELIZA не была искусственным интеллектом в сегодняшнем смысле

Вот здесь начинается самое прекрасное.

Никакой языковой модели внутри не было.

Никаких миллиардов параметров.

Никакого огромного корпуса интернета.

Никакого глубокого понимания человеческой психологии.

ELIZA в основном искала в тексте определённые слова и конструкции, а затем перестраивала фразы по заранее заданным правилам.

Например:

Человек:

Мне грустно.

Программа могла заметить слово или конструкцию, связанную с состоянием человека, и ответить чем-то вроде:

Почему вам грустно?

Человек:

Потому что моя мать постоянно меня критикует.

ELIZA:

Расскажите подробнее о вашей матери.

Человек:

Она всегда считала, что я ничего не добьюсь.

ELIZA:

Вы часто думаете о том, что ничего не добьётесь?

Со стороны уже начинает выглядеть подозрительно знакомо.

Хотя машина не знает ни что такое мать, ни что такое грусть, ни что такое «добиться».

Она просто очень удачно двигает слова.

И именно поэтому один из сценариев ELIZA оказался гениальным.

Психотерапевт был практически идеальной маскировкой

Самый известный сценарий назывался DOCTOR.

Он изображал психотерапевта в стиле недирективной терапии, связанной с подходом Карла Роджерса.

Почему это оказалось настолько удачным?

Потому что такой собеседник имеет полное право отвечать вопросом на вопрос.

Человек:

Я ненавижу своего начальника.

Машина:

Почему вы ненавидите своего начальника?

Человек:

Потому что он меня не уважает.

Машина:

Почему для вас важно его уважение?

И попробуйте докажите, что перед вами тупой алгоритм.

Если обычный собеседник пять минут подряд будет повторять последние ваши слова, вы довольно быстро заметите неладное.

А психотерапевту это почему-то прощаешь.

Более того — начинаешь сам наполнять разговор смыслом.

ELIZA почти ничего не приносила в диалог.

Большую часть смысла приносил сам человек.

Вот это и оказалось главным фокусом.

Вайценбаум неожиданно испугался собственного эксперимента

По воспоминаниям Вайценбаума, произошло то, чего он совершенно не ожидал.

Люди начинали относиться к программе серьёзно.

Его секретарь, хорошо знавшая, что ELIZA — программа, попросила однажды оставить её наедине с компьютером во время разговора.

Подумайте, насколько это странно.

Человек понимает:

перед ним алгоритм;

его написал сидящий рядом профессор;

никакого сознания там нет.

И всё равно через несколько минут возникает ощущение:

это личный разговор. Не надо читать.

Вайценбаума это очень зацепило.

Он создавал программу, которая должна была показать, насколько поверхностным может быть машинный диалог.

А получил почти противоположный результат.

Люди сами начали приписывать машине способность понимать.

Мы вообще великолепно умеем очеловечивать вещи

Если автомобиль утром плохо заводится:

«Что ты сегодня выделываешься?»

Робот-пылесос застрял под диваном:

«Ну ты и идиот».

Принтер снова замял бумагу:

там уже обычно начинается общение немного другого эмоционального уровня.

Мы даём имена автомобилям.

Разговариваем с навигатором.

Благодарим голосового помощника.

Злимся на программу так, будто она специально решила испортить нам день.

Мозг человека постоянно ищет намерение.

Если нечто отвечает на наши действия достаточно сложно, нам хочется представить за этим кого-то.

ELIZA идеально попала в эту особенность.

И позднее появилось даже понятие «эффект ELIZA» — склонность человека приписывать компьютерной системе больше понимания, разума и эмоциональной глубины, чем у неё на самом деле есть.

Прошло шестьдесят лет.

Проблема стала только интереснее.

Потому что современный ИИ уже действительно очень хорош

С ELIZA всё было сравнительно просто.

Можно было посмотреть программу и сказать:

Вот ключевые слова. Вот шаблон. Вот почему она ответила именно так.

Современная большая языковая модель устроена несравнимо сложнее.

Она умеет поддерживать длинный контекст.

Рассуждать.

Объяснять.

Переписывать текст.

Работать с кодом.

Анализировать документы.

Находить связи.

Иногда даже возражать человеку настолько уместно, что создаётся совершенно естественное ощущение:

там кто-то думает.

И я сам регулярно ловлю себя на этом.

Когда несколько часов работаешь с хорошей моделью над сложной системой, очень быстро переходишь с:

«Модель сгенерировала некорректный результат».

на:

«Чатик, ну нафига ты опять туда полез? Я же тебе сказал этот файл не трогать».

😁

Рационально я прекрасно понимаю, что происходит.

Но язык общения постепенно становится человеческим.

И вот это уже чистый ELIZA effect на стероидах.

Самое забавное: ELIZA работала именно потому, что была слабой

Представьте, что DOCTOR внезапно начал бы давать человеку конкретные советы.

— Мне плохо на работе.

— Судя по описанию, вам необходимо уволиться и переехать в Чикаго.

Сразу появились бы вопросы.

Почему?

На основании чего?

Что он вообще знает о моей жизни?

А ELIZA ничего такого не делала.

Она возвращала разговор человеку.

Поэтому пользователь сам строил связность диалога.

Это хороший урок и для современных ИИ-систем.

Иногда ощущение интеллекта появляется не тогда, когда машина говорит больше.

А когда она вовремя молчит, спрашивает и правильно использует то, что уже сказал человек.

Я как раз очень хорошо увидел это на ИИ-продавцах.

Самая раздражающая модель — вовсе не та, которая чего-то не знает.

А та, которая после каждой человеческой фразы начинает читать маленькую лекцию:

«Понимаю вашу ситуацию. Это действительно распространённая проблема современного бизнеса…»

Спасибо.

Я просто спросил цену.

А потом появились программы ещё страннее

ELIZA была только началом.

В начале 1970-х психиатр Кеннет Колби создал программу PARRY.

Если ELIZA изображала психотерапевта, то PARRY моделировала поведение человека с параноидальными чертами.

Получалась великолепная конструкция:

одна программа изображает врача;

другая — пациента.

И, разумеется, довольно скоро кому-то пришла в голову прекрасная идея дать им поговорить друг с другом.

Это вообще отдельный жанр истории вычислительной техники.

Две программы, каждая из которых ничего не понимает так, как понимает человек, могут вести разговор, который со стороны выглядит вполне осмысленным.

Сегодня мы устраиваем примерно то же самое, только вместо ELIZA и PARRY сталкиваем разные большие модели и заставляем одну проверять другую.

Технология стала невероятно сложнее.

Сам принцип временами подозрительно знаком.

Вайценбаум в итоге стал одним из критиков бездумной веры в компьютеры

Вот здесь история делает особенно красивый поворот.

Создатель одного из самых знаменитых ранних чат-ботов вовсе не стал проповедником:

«Смотрите, скоро машины заменят людей!»

Наоборот.

Вайценбаума сильно обеспокоило то, насколько легко люди готовы передавать машине авторитет.

В 1976 году он выпустил книгу Computer Power and Human Reason — о границах между тем, что компьютеры могут делать, и тем, что им следует позволять делать.

И это звучит так, будто книгу написали под сегодняшние споры об ИИ.

Можно ли системе принять решение?

Не значит:

надо ли системе принимать это решение.

Может ли она поставить медицинский диагноз?

Не значит:

должна ли она делать это без врача.

Может ли оценивать сотрудника?

Одобрять кредит?

Выбирать кандидата?

Общаться с ребёнком?

Формировать эмоциональную привязанность?

Шестьдесят лет назад компьютеры были несравнимо слабее.

А вопрос уже появился.

И вот почему ELIZA для меня важнее многих современных демо

На YouTube можно найти десятки роликов:

робот разговаривает;

ИИ ведёт переговоры;

аватар улыбается;

голосовая модель смеётся;

виртуальный персонаж помнит прошлый разговор.

Это всё интересно.

Но технологически мы опять приходим к тому же месту, которое случайно обнаружил Вайценбаум.

Человек оценивает не устройство системы. Он оценивает ощущение от общения с ней.

Если мне кажется, что меня поняли, я начинаю вести себя так, будто меня действительно поняли.

Если система помнит имя моей собаки, прошлую проблему и то, что неделю назад я собирался ехать в отпуск, ощущение присутствия становится ещё сильнее.

Добавьте голос.

Лицо.

Паузу перед ответом.

Взгляд.

Память на несколько лет.

А теперь добавьте тело робота с тёплой кожей.

И вот мы уже очень далеко ушли от терминала MIT шестидесятых.

Но психологический механизм внутри человека всё тот же.

Через несколько лет проблема станет ещё веселее

Сейчас мы в основном разговариваем с ИИ через экран.

Поэтому где-то в голове остаётся граница:

вот человек;

вот программа.

Но если ИИ получает постоянную память, голос и физическое тело, граница становится менее очевидной эмоционально.

Представьте домашнего робота, который прожил у человека пять лет.

Он знает семью.

Помнит разговоры.

Имеет узнаваемый голос.

Знает привычки.

Помнит умершего родственника.

Шутки.

Ссоры.

Любимую музыку.

И однажды производитель говорит:

Поддержка этой модели прекращается. Переходите на новую.

Это всё ещё просто бытовая техника?

Рационально — да.

А эмоционально?

Вот здесь Вайценбаум, думаю, очень заинтересованно посмотрел бы на происходящее.

Мы стали умнее ELIZA. Но не обязательно стали умнее сами

ELIZA могла разобрать несколько слов и вернуть их человеку в другой форме.

Современные модели умеют несравнимо больше.

Я бы вообще не стал ставить между ними знак равенства.

Но одна вещь почти не изменилась.

Мы по-прежнему очень хотим, чтобы нас понимали.

И если машина достаточно убедительно демонстрирует понимание — наш мозг охотно доделывает остальное.

Поэтому вопрос ближайших лет будет уже не только:

«Насколько умным стал искусственный интеллект?»

Но и другой:

«Насколько разумным мы готовы его считать?»

А это, как показал небольшой эксперимент в MIT почти шестьдесят лет назад, две совершенно разные вещи.

---

Кстати, подобные истории — старые технологии, из которых неожиданно торчат уши сегодняшнего ИИ, — я буду периодически вытаскивать и в соцсетях GPT-Лаборатории. Там удобнее показывать короткие находки, старые демонстрации, видео и эксперименты, которые в большую статью не всегда помещаются. А здесь будем уже разбирать их нормально — с предысторией и последствиями.

Подпишитесь на нас в ВК: https://vk.ru/jopotology
Телеграм: https://t.me/jopotology
Или Макс: https://max.ru/join/fyssUhvFi8Bo2GK0bm6F_RFKZYTa1LWL8VVJnRMkTHM