По материалам статьи Эвана Акермана (Evan Ackerman)

Источник: IEEE Spectrum

В июне этого года на портале IEEE Spectrum появилась новость о том, что в рамках соревнования, организованного Университетом Великобритании, чат-бот под кодовым именем «Евгений Густман», представившийся тринадцатилетним подростком, прошел тест Тьюринга и «выиграл» у экспертов, так как в нем не смогли распознать машину.

Практически сразу стало очевидно, что дело тут не в том, что машина достигла интеллектуального уровня человека. Соревнование просто показало, что машина научилась обманывать людей и имитировать разговор с человеком. А это, согласитесь, вовсе не означает «научилась думать». Вообще-то некоторые обозреватели прямо заявили, что «Женя Густман» не показался им особо умным.

Соответственно, пора дополнить тест Тьюринга новыми проверочными испытаниями, к которым машины еще не адаптировались.

Один из вариантов, похожий на тест Тьюринга, так как тоже предполагает письменные вопросы-ответы собеседников, получил название «схемы Винограда» – в честь профессора Стэнфордского университета Терри Винограда (Terry Winograd). Вопросы этого теста не вызовут затруднений у людей, но машинам могут оказаться не по зубам.

 

Корпорация «Nuance Communications» и исследовательская группа CommonsenseReasoning.org спонсируют новое соревнование и назначают приз в 25 тысяч долларов той машине с ИИ, которая пройдет тест по схемам Винограда и сможет убедить экспертов, что она человек.

Пример из теста:
Приз не влезает в коричневый чемодан, потому что он слишком большой. Что имеется в виду под «он»?

Очевидно же, что приз. Но это НЕ очевидно машине. Мы просто много знаем о чемоданах и призах и понимаем ситуацию интуитивно. А компьютеру здесь понадобится не обойтись без большого объема общих знаний и способности рассуждать.


Еще пример:
Джим успокаивал Кевина, так как он был расстроен. Кто был расстроен?

Общие правила построения схем Винограда таковы:
1. Во фразе два объекта, выраженные существительными. Это могут быть два мужчины, две женщины, два предмета или две группы – предметов или людей.
2. Местоимение, которое используется во фразе по отношению к одному из двух объектов, грамматически может быть отнесено и ко второму объекту. В случае с объектами мужского рода это «он/его/ему», с объектами женского рода «она/ей/ее», с объектами во множественном числе «они/им/их».
3. Задача – определить тот объект, к которому относится местоимение. Ответ «0» означает первый объект в предложении, ответ «1» - второй объект..
4.В предложении и, возможно, в вопросе, есть слово, которое называется «специальное слово». При его замене другим словом (которое называется «альтернативное слово»), грамматический строй предложения остается прежним, но смысл меняется, а значит, меняется и правильный ответ (Пример – «Приз не влезает в коричневый чемодан, потому что он слишком маленький»)

Остаются некоторые сомнения в том, насколько полезен такой тест для определения уровня «мышления» ИИ. В сложном структурированном тексте можно зайти достаточно «зацепок», которыми машина может воспользоваться для определения правильно ответа.

И – этический вопрос, возникающий в связи с этим: мы, биологические системы, отбираем какие-то критерии, по которым собираемся судить об «интеллекте» электронных систем. А достаточно ли этих критериев для того, чтобы признать систему обладающей интеллектом? Что, в конечном итоге, есть интеллект?
Очевидно, что это умение не только думать, но и чувствовать. Что было сказано много лет назад еще в «Бегущем по лезвию бритвы».