Искусственный интеллект британской компании DeepMind, которая с 2014 года принадлежит Google, победил профессиональных киберспортсменов в игре Quake III Arena, где в режиме «Захват флага» нужно было донести знамя в свою точку. Отчет об этом сегодня был опубликован в журнале Science.

В матче принимали участие четыре игрока: по два с каждой стороны. Соревнование проходило в режиме «Захват флага»: каждая из команд должна одновременно защитить свой флаг, захватить флаг оппонентов и принести на свою базу. Реакцию системы снизили до средних показателей человека.

Для тренировки агентов специалисты использовали обучение с подкреплением — метод машинного обучения, при котором система учится, взаимодействуя со средой. Для тренировки нейросеть провела 450 тыс. матчей, играя в тысячах карт одновременно.

Авторы тренировали 30 агентов. Тренировка происходила благодаря многотысячным параллельным партиям, которые отыгрывали агенты. При этом каждый агент представлял собой индивидуальную единицу, которая действует самостоятельно, исходя из обучения с подкреплением. Специалисты также демонстрируют филогенетическое дерево, которое строится в ходе этого обучения. После тренировок алгоритмы сыграли несколько партий с командой людей. Обе команды играли на неизвестных для них картах. Пара агентов за игру в среднем захватывала на 16 флагов больше, чем пара людей. Только когда человек играл в партнерстве с искусственным интеллектом, ему удавалось выиграть у объединения алгоритмов (5% вероятности победы).

Марк Ридл (Mark Riedl), профессор Технологического колледжа Джорджии, выразил мнение, что агенты не обмениваются сообщениями, а лишь реагируют на те события, которые происходят в игре. Однако представитель DeepMind Макс Джадерберг (Max Jaderberg) не согласился: «... один из агентов сидит в лагере противника, ожидая, когда вновь появится флаг, это возможно только потому, что он полагается на своего партнера по команде».

В январе DeepMind сообщила, что ее искусственный интеллект AlphaStar одолел двух профессиональных игроков в стратегию StarCraft II, проходящую в реальном времени.

Самый известный проигрыш человека искусственному интеллекту — партия между AI AlphaGo от DeepMind и Ли Седолем в игру го. Тогда AlphaGo стала победителем.

Источники: Science, Naked Science