Новая нейросеть, разработанная программистами Facebook из специального отдела FAIR (Facebook AI Research), способна преобразовывать партии разных музыкальных инструментов внутри аудиозаписи. Программа позволяет принципиально изменить звучание и жанр исходного трека.

ИИ самостоятельно разбивает партитуру музыкального произведения на части и проигрывает эти части с использованием данных о звучании разных инструментов. Технология глубокого машинного обучения позволила разработать алгоритм, в основе которого лежит не распознавание нот, а воспроизведение музыки с применением семантической интерпретации. В случае с человеком такое воспроизведение мелодии называют игрой на слух.

Полученные треки сильно отличаются от оригинала. Программа позволяет переделать симфоническую музыку в фортепианную пьесу, придать классическому произведению электронное звучание или исполнить популярную мелодию в классическом стиле. Создатели нейросети утверждают, что качество исполнения переработанной записи сопоставимо с игрой профессиональных музыкантов. Разработчики предложили тестовой группе прослушать исходные и синтезированные треки и постараться определить, какие из них были созданы компьютером. Большинство слушателей не справились с этой задачей.

Обучение нейросетей работе со звуком позволяет специалистам находить решения, которые могут использоваться для передачи слуховых образов слабослышащим людям. Ранее американский профессор Брайан Пэсли объявил о возможности перевода человеческих мыслей в аудиовизуальные образы. В его изобретении искусственный интеллект анализирует импульсы в коре головного мозга человека и трансформирует их в реальные звуки.

Источник: Neuronus