Ученые университета Торонто создали нейросеть, которая умеет в режиме реального времени сочинять песни про предметы, показанные на фотографиях.

В основе данной работы – созданная ими ранее рекуррентная нейросеть, генерирующая песни в стиле «поп». Программа была обучена сочинению простых мелодий в темпе 120 ударов в минуту, с типичными для поп-музыки аккордами и аранжировками. Далее был создан словарь для создания текстов: сетью был проанализирован 51 час аудиозаписей текстов, и из этого материала были извлечены все слова, повторяющиеся более четырех раз. К слову, глоссарий получился не таким уж большим – всего 3390 слов.

Теперь авторы научили нейросеть связывать слова с изображенными на них предметами. Для этого были созданы специальные фотографии со словесными метками, которые подсказывали ИИ, что изображено. Теперь метки не нужны – нейросеть сама опознает изображение и подбирает слова.

Исследователи проверили работу нейросети, введя в нее снимок наряженной к Рождеству елки. В итоге компьютер создал довольно странную песню, послушать которую можно по ссылке.

В будущем ученые предполагают расширить библиотеку звуков аккомпанемента, научить нейросеть «играть» на разных инструментах.

Данная разработка не единственная в этом роде. Недавно российские разработчики создали интеллектуальную систему, сочиняющую стихи, и использовали ее для записи композиций в духе «Гражданской обороны». Ученые из Google Brain научили систему, понимающую человеческую речь, подражать подростковой поэзии. Также в сети говорят об ИИ, умеющем писать твиты в стиле Рамзана Кадырова.

Источник: Образовач по материалам The Guardian