Специалисты лаборатории DeepMind презентовали универсальную архитектуру Perceiver IO для одновременной обработки входных и выходных данных разных типов.

В твиттере компании появилась запись: «Для решения тех интеллектуальных задач, с которыми мы имеем дело сегодня, нужны инструменты с максимальной способностью к адаптации. Представляем вам архитектуру Perceiver IO,она решает целый спектр задач и при этом изящно масштабируется».

Предшествующая модель Perceiver была представлена в июне 2021 года. Она также обрабатывает изображения, аудио, видео и их комбинации, но справляется только с задачами с простыми выходными данными – например, классификацией.

Perceiver IO – более общая версия архитектуры. Она уже способна выделять целые наборы выходных данных из общего потока входящей информации. Это делает её полезной для задач из таких областей, как обработка естественного языка, компьютерное зрение, мультимодальное понимание.

Perceiver и Perceiver IO построены на архитектуре трансформеров, которые хорошо работают для входных данных, содержащих нескольких тысяч элементов. Однако, по словам исследователей, изображения, аудио и видео могут содержать миллионы таких элементов.

«С помощью оригинального Perceiver мы решили главную проблему универсальной архитектуры: масштабирование трансформеров на очень большие входные данные без введения допущений, специфичных для предметной области», – говорится в блоге.

Исследователи также считают, что Perceiver IO может достичь беспрецедентного уровня универсальности.

Разработчики опубликовали исходный код архитектуры на GitHub и надеются, что это поможет исследователям и практикам разрабатывать приложения без необходимости тратить ресурсы на создание индивидуальных решений с использованием специализированных систем.

Источник: Fork Log