Спи спокойно, Алан! Тест Тьюринга и пустые сенсации

Великие личности предстают в наших воспоминаниях совсем не такими, какими они были в жизни. Человеческой памяти свойственно сглаживать «острые углы», а это неизбежно коверкает образ. Столкнись вы сейчас с Аланом Тьюрингом, например, сдружились бы вы с ним — с ним настоящим?

Ведь, с одной стороны, Алан был человеком мягким, обходительным, дружелюбным, максимально аккуратным в некоторых отношениях (читать его рукописи, например, легко, даже если английский язык для вас не родной). С другой — занимался тем, чего почти никто не понимает, страшно заикался, чудил (ну кто в здравом уме будет пристёгивать кружку к батарее?), совершенно не следил за внешностью (неопрятный — самая мягкая характеристика, какую ему дают современники: вечно обгрызенные ногти, мятая грязная одежда и т. п.) и крутил любовь с симпатичными юношами. Гений, что с него возьмёшь! Однако обыватель ктакому Тьюрингу не готов — и в исполнении Бенедикта Камбербэтча (фильм «The Imitation Game», выходит нынче в ноябре) он уже одет в костюм с иголочки.

Увы, ту же трансформацию память производит и с великими теориями. Мы будто приспосабливаем их под себя, упрощаем, чтобы они уложились в наши мозгочки. Не избежала такого упрощения и принадлежащая Тьюрингу «игра в имитацию человека», более известная как тест, названный в его честь.

Что знает о тесте Тьюринга (ТТ) среднестатистический прохожий? Весьма вероятно, лишь общие положения: это проверка, способен ли компьютер выдать себя за человека. Оригинал (вот он) ощутимо сложней. Тест, предложенный Аланом в 1950-м году в работе «Вычислительные машины и разум» (научной работе, написанной для солидного журнала по философии и психологии), предполагает следующую схему: судья (из плоти и крови) общается записками с двумя испытуемыми, находящимися в соседних комнатах, причём один из них — человек, другой — машина, имитирующая человека. Впоследствии Тьюринг предложил ещё несколько вариантов теста, но вот этот ключевой пункт — двое испытуемых, один из которых живой — присутствовал почти везде (почему это важно, станет понятно далее). Если судья ошибается насчёт машины в «значительном» количестве случаев, можно считать тест пройденным: машина удовлетворительно имитирует человеческое существо — а значит, может называться разумной.

Конкурсов по прохождению ТТ устраивается множество, от эпизодических до регулярных. Среди всех выделяется «Премия Лёбнера» (Loebner Prize), проводимая с начала 90-х годов церемония, считающаяся своего рода главной из-за строгих правил, долгой истории и денежных призов. Но больше всего шуму наделало небольшое состязание Turing Test 2014, организованное нынче летом в британском Университете Ридинга — где первое место занял чат-бот «Евгений Густман», созданный российско-украинской командой. Организаторы уверяют: тест Тьюринга, наконец и впервые, пройден! Да вот только пройден ли?

Прежде чем двинуться дальше, давайте отметим одну вещь. ТТ более не предмет обсуждения узкого круга специалистов. Тьюринг придумал свой тест в эпоху, когда смысл термина «компьютер» приходилось объяснять даже в научной статье. Нынче эти самые компьютеры низведены до статуса утюга, и о Тесте слышала, как говорится, каждая собака. Сверхсветовые скорости, жизнь после смерти, прохождение ТТ — всё это для обывателя темы одного порядка, информационный фастфуд, который глотается на ходу, без осмысления. Публике нужны сенсации и не нужны детали.

А теперь откроем пресс-релиз, опубликованный Университетом Ридинга. Я выбрал ключевые куски (не дословно, но фактически точно). Историческое событие! Если компьютер… будет принят за человека… более чем в 30%… пятиминутных диалогов, его нужно считать прошедшим тест. Суперкомпьютер Густмана сочли живым 33% судей. Никто ранее этого не достигал.

Но откуда взялась цифра 30%? Откуда пять минут на интервью? Тьюринг строго не определял ни количественного порога прохождения теста, ни тем более времени, требуемого на проверку. Лишь рассуждая о возможностях компьютеров будущего (параграф 6 в работе 1950 года), он выразил мнение, что, общаясь с такими машинами, судьи будут не в состоянии поставить точный диагноз более чем в 70% случаев после пяти минут. Какой ещё суперкомпьютер, когда речь идёт всего лишь о чат-боте (словечко «суперкомпьютер» позже было из пресс-релиза изъято)? Почему не упомянуты конкуренты, демонстрировавшие ранее (в других ТТ-состязаниях) намного лучшие результаты? Почему, наконец, это историческое событие — а подано оно и названо именно так — не было перепроверено независимыми исследователями, как всегда проверяют любой новый научный факт?

Критики считают, что объясняются странности просто: вся затея Test Turing 2014 сводилась к тому, чтобы сразу же выдать мировую сенсацию. «Густман» участвует в ТТ-конкурсах не первый раз и уже пробивался в топ, в частности на Премии Лёбнера. Так что это был готовый претендент на победу. А соучредителем состязания, которого благодарили и авторы «Густмана», являлся Кевин Уорвик — экстравагантный профессор, болеющий темой сосуществования человека и машины (вы должны помнить его по опасному эксперименту 2002 года: он вживил в свою руку матрицу электродов), но сильно растерявший свой авторитет за последние годы (общественный резонанс для него явно важнее научной истины).

Что ж, сенсация удалась. Но сколько в ней правды? «Густман» не был ни первым, ни лучшим. Вот Cleverbot— три года назад на технофестивале Techniche убедивший 59% судей. Вот PARRY 1972 года (!), обманувший 52% профессиональных психиатров. Опыт с PARRY, правда, был не совсем чистым, ибо он «косил» под больного шизофренией, а суждение выносилось на основании записи уже состоявшейся беседы. Но ведь и «Густман» изображает из себя подростка, сразу ограничивая спектр тем и ожидаемый уровень владения языком. Тьюринг в своё время настаивал на неограниченном диалоге.

Откровенно говоря, нам, айтишникам (обыватель-то, понятное дело, неизлечим), вообще пора переключиться с ТТ на более полезные вещи. Для самого Алана игра в имитацию была интригующей забавой для ума: проверить её было не на чем, тем и интересна. Для нас, повидавших чат-боты сотнями (начиная сELIZA, написанного в 60-х, и заканчивая Mitsuku, прошлогодним призёром «Премии Лёбнера»; кстати, пообщайтесь с ним пять минут: чудовищно, что подобные программы вообще способны кого-то обмануть!), уже очевидно, что имитация разума и разум — разные вещи. Между искусственным интеллектом и умением поддержать беседу лежит непреодолимая пропасть. И специалисты по всамделишному ИИ (Марвин Мински, например) давно на этом настаивают — хоть, возможно, они и не лучшие, кого стоит слушать в такой ситуации.

Виноват во всей этой околонаучной сенсационной суете, как ни странно, сам Алан. Тем, что не установил чётких правил своего теста. Теперь мы обречены слышать об очередной «разумной машине» каждый раз, когда кто-нибудь наберёт при прохождении теста на несколько процентов больше предшественников или схитрит, исказив весьма вольно сформулированные правила к собственной выгоде.

Надежд на избавление от этого кошмара две. Первая — на день, когда машина, проверяемая в паре с человеком-соперником, будет набирать больше баллов, чем человек: пока что Homo sapiens отвечает на вопросы слегка убедительнее. Вторая — на день, когда машина сможет убедить 100% судей. Только после этого все успокоятся и можно будет со спокойной совестью утверждать: имитация человека — ещё не человек!

Евгений Золотов 
computerra.ru