Можно ли расшифровать сигналы человеческого мозга? Ученые сделали большой шаг в этой области, сумев с помощью искусственного интеллекта раскодировать функциональные магнитно-резонансные томограммы людей, полученные во время того, как они смотрели видео.

Прогресс в расшифровке сигналов мозга позволит искусственному интеллекту по-другому взглянуть на человеческий разум. Для разработки использовались свёрточные нейронные сети – один из алгоритмов глубинного обучения, который также применяется в задаче распознавания лиц.

«Этот метод оказал огромное влияние на компьютерное зрение в последние годы», ― сказал Чжунминь Лю (Zhongming Liu), доцент в Школе биомедицинской инженерии и Школе электротехники и вычислительной техники Университета Пердью (Purdue University's Weldon School of Biomedical Engineering and School of Electrical and Computer Engineering). «Наша техника использует нейронную сеть, чтобы понять, что вы видите».

Сверточные нейронные сети использовались для изучения того, как мозг обрабатывает статичные и движущиеся изображения. Впервые данный метод применялся для исследования процесса обработки мозгом видео с зарисовками из живой природы. Это шаг к расшифровке методов анализа мозга, по словам докторанта Хэйгуаня Вэня (Haiguang Wen), автора нового исследования, появившегося в интернете 20 октября в журнале Cerebral Cortex.

Исследователи получили 11,5 часов данных МРТ от каждой из трех женщин, просмотревших 972 видеоклип, включая те, где показаны животные и люди в городской или природной среде. С помощью этих данных свёрточную сеть обучали прогнозировать в процессе просмотра видео активность зрительной коры головного мозга. Затем они использовали модель, чтобы раскодировать видео, опираясь на данные томографии. Притом при создании томографий использовались те видео, на которых модель не обучалась.

Модель смогла точно отсортировать данные МРТ в определенные категории изображений. Фактические видеоизображения были затем представлены бок о бок с интерпретацией компьютером того, что мозг человека видел на основе данных МРТ.

«Например, были такие категории: животные, живущие в воде, луна, черепаха, человек, птица в полете», ― прокомментировал Вэнь. «Я думаю, что уникальным аспектом этой работы является то, что мы делаем декодирование почти в режиме реального времени, когда испытуемые смотрят видео. Мы сканируем мозг каждые две секунды, и модель восстанавливает увиденную картинку по мере просмотра».

Исследователи смогли выяснить, как определенные участки мозга были связаны с конкретной информацией, которую человек видел. «Нейронауки пытаются сопоставить, какие части мозга за что отвечают», ― сказал Вэнь. «Это главная цель неврологии. Я думаю, то, что мы обсуждаем в этом исследовании, приближает нас к достижению этой цели. Сцена с автомобилем, движущимся перед зданием, расщепляется на куски мозгом: один участок в мозге «видит» автомобиль, другой «видит» здание. Используя нашу технику, вы можете визуализировать конкретную информацию, обрабатываемую любым отделом мозга, и просматривать все места в зрительной коре головного мозга. Делая это, вы можете увидеть, как мозг разделяет визуальную сцену на куски и снова собирает части в полную сцену».

Исследователи также смогли использовать модели на основе данных одного человека, чтобы предсказать и декодировать мозговую деятельность другого человека. Этот вывод важен, поскольку он демонстрирует потенциал для широкого применения таких моделей для изучения функции мозга, даже для людей с нарушением зрения.

«Мы думаем, что мы вступаем в новую эру машинного интеллекта и неврологии, где исследования фокусируются на пересечении этих двух важных областей», ― пояснил Лю. «Наша миссия в целом заключается в развитии искусственного интеллекта с использованием концепций на основе модели человеческого мозга. Также мы хотим использовать искусственный интеллект, чтобы понять наш мозг. Поэтому мы считаем, что это хорошая стратегия, помогающая продвигать обе области таким образом. Мы не смогли бы добиться таких высот, если бы не занимались этими науками вместе».

Источник: ScienceDaily