Валентин Кассарниг (Valentin Kassarnig) из Массачусетского университета Амхерста создал алгоритм, который генерирует тексты для политических выступлений.

Была собрана база из 4000 фрагментов выступлений в американском Конгрессе и использован алгоритм машинного обучения для создания новых выступлений. В базу данных алгоритма попало 50000 предложений, каждое из которых в среднем содержало 23 слова. Тексты выступлений были отсортированы по партийной принадлежности спикера (демократ или республиканец) и по направленности «за» или «против» обсуждаемого вопроса.

Для анализа базы данных Кассарниг использовал метод, основанный на N-граммах — последовательностях слов или фраз из N элементов. Сначала он проанализировал тексты и разметил в них все части речи (существительное, глагол и т. д.). Затем Кассарниг использовал такой алгоритм: в базе ищутся все 6-граммы и вычисляется вероятность появления определённого слова или фразы, в зависимости от того, насколько часто одни слова или фразы следуют за пятью заданными.

Дальше начинается процесс генерирования речи. Для начала нужно указать, за какую партию будет выступать спикер — за демократов или республиканцев. Затем алгоритм просматривает базу 6-грамм в заданной категории и ищет пять слов или фраз, с которых чаще начинаются выступления и добавляет к ним по слову, пока не закончит строить предложение. Алгоритм также учитывает и другие факторы: он различает, какие темы уже затронуты в выступлении, и упоминает в речи связанные темы.

Пример автоматически сгенерированного выступления для демократа: «Господин Спикер, годами честные, но несчастные потребители имели возможность просить защиты от банкротства и разумного списания их долгов. Как должна работать система: суд, принимающий решение о банкротстве, оценивает разные факторы, включая доход, имущество и долг, чтобы определить, какие долги могут быть оплачены и как потребители могут снова встать на ноги. Встать для роста и возможностей. Давайте примем эту поправку».

С точки зрения связности и грамматической корректности большинство текстов выглядят неплохо, но вряд ли найдется политик, который захочет использовать алгоритм для написания реальных выступлений.

Программу также можно использовать и для генерирования текстов другого типа. Например, с ее помощью можно писать новости или кратко пересказывать препринты научных публикаций, основываясь на других публикациях по теме.

Источники: apparat.cc, geektimes.ru.