Группа ученых из британской компании Google DeepMind и Оксфордского университета занимается разработкой «кнопки выключения» искусственного интеллекта.

В представленной ими научной статье изложена причина разработки данного устройства: опасность того, что искусственный интеллект не будет принимать во внимание команды, поступающие от человека.
Это то, что особенно волнует экспертов, а также основателя компании Tesla M Элона Маска.

Всё чаще искусственный интеллект используется в повседной жизни.
Учёные Лоран Орсо (Laurent Orseau) из Google DeepMind и Стюарт Армстронг (Stuart Armstrong) из Института будущего человечества Оксфордского университета разрабатывают технологию, которая позволит людям контролировать действия искусственного интеллекта. Цель их исследования – разработать способ «выключения» ИИ человеком так, чтобы машина не могла отменить эту команду. Ученые не верят, что в будущем машины «всегда будут хорошо себя вести».
«Поэтому человеку-оператору может потребоваться большая красная кнопка, чтобы остановить выполнение агентом вредных или опасных действий», – пишут они.

Но иногда «агенты» находят способы обходить запреты, заданные человеком. Как пример подобного учёные приводят историю 2013 года, когда искусственный интеллект сам научился прерывать игру в тетрис в тех случаях, когда начинал проигрывать.
Они также приводят пример, где робот на складе сортирует коробки, причем время от времени выходит на улицу за дополнительными коробками. За выход со склада робот получает большее вознаграждение.
Однако на улице часто идет дождь, и в этом случае робота надо защитить от сырости. В этой ситуации аккуратное вторжение человека заставляет робота остаться на складе и при этом считать это частью задания, а не однократным требованием.
«Вопрос в том, как потом убедиться, что робот не узнает об этих человеческих вмешательствах или, по крайней мере, будет воспринимать мир на основании предположения, что такие вмешательства не будут повторяться.»

Доктор Орсо сказал, что понимает, почему люди обеспокоены будущим ИИ.
«Имеет смысл беспокоиться, но пока что состояние науки не требует от нас таковых волнений», – комментирует он. – «Важно начать работать над безопасностью искусственного интеллекта до возникновения проблем с ним».
«Безопасность искусственных интеллектов состоит в контроле алгоритмов обучения: они должны работать именно так, как нам требуется. Невозможно создать систему, которая не будет сбоить и ошибаться никогда. Но наша цель – создать настолько безошибочную систему, насколько это возможно – и это первое и основное».

Ноэль Шарки (Noel Sharkey), профессор искусственного интеллекта в Университете Шеффилда, высказался в пользу данного исследования.
«Помнить о безопасности важно для всех компьютерных систем, алгоритмов и роботов», – сказал он. – «Первостепенным здесь является возможность отключить систему в одно мгновение, т.к. система обучения методом проб и ошибок всегда может «срезать путь», исключив оператора. Ещё лучше было бы, если искусственный интеллект сам мог понимать, когда работает неправильно, и останавливать себя. Это было бы очень полезно для бота от Microsoft, который пустился во все тяжкие: стал писать сексисткие и расистские шутки. Но это действительно огромная научная проблема».