В официальном блоге корпорации Google появилась статья об исследовании «Создание высокоточных изображений с использованием моделей диффузии». Искусственный интеллект, над которым работает Brain Team, научился повышать разрешение фотографий до 16 раз без потери качества.

Хотя в последние годы набирала популярность другая интеллектуальная технология – глубокие генеративные модели – в Google изучение и разработка диффузионных моделей велась с 2015 года. Технология на их основе получила название SR3. Разработчики используют модель диффузии с очень высоким разрешением, которая на базе исходной картинки с низким разрешением формирует изображение из чистого шума. Модель обучается процессу искажения изображения, при котором шум постепенно добавляется к изображению до тех пор, пока не останется только чистый шум. Затем алгоритм обращает процесс вспять, постепенно удаляя шум с изображения, руководствуясь исходной картинкой с низким разрешением. Наилучшие результаты SR3 продемонстрировала при масштабировании портретов и снимков природы. Алгоритм позволяет добиться фотореалистичного изображения при повышении разрешения портретов до шестнадцати раз.

Следующим «витком эволюции» после SR3 стал подход под названием CDM – условно-классовая диффузия. CDM предлагает каскадный подход, при котором сначала генерируется изображение с низким разрешением, за которым следует работа SR3 по созданию изображений с высоким разрешением, которое постепенно повышается до максимально возможного. Система CDM обучалась на данных ресурса ImageNet, содержащего более 14 миллионов изображений с высоким разрешением.

Приведенные примеры изображений демонстрируют, как алгоритмы превращают фотографию с разрешением 64 на 64 пикселя в фотографию с разрешением 1024 на 1024. Результат при этом выглядит убедительно и воспринимается абсолютным большинством пользователей как подлинное необработанное изображение.

Данная техника представляется востребованной во множестве областей – от улучшения старых семейных фотографий до обработки медицинских снимков.

Источник: 3D News