Сегодня компания «Яндекс» объявила о запуске новой версии поиска. В ее основу лег поисковый алгоритм «Королёв», пришедший на смену предыдущей разработке «Яндекса» в сфере поиска «по смыслу», опирающегося на нейросеть – алгоритма «Палех».

Выдержки из сегодняшней публикации в блоге «Яндекса»: «Нам, людям, понятно, что один и тот же смысл можно выразить разными словами. Веб-страница может не содержать всех слов из запроса, но тем не менее очень хорошо на него отвечать. Однако объяснить это машине довольно сложно… Запуская «Палех», мы научили нейронную сеть преобразовывать поисковые запросы и заголовки веб-страниц в группы чисел — семантические векторы. Важное свойство таких векторов состоит в том, что их можно сравнивать друг с другом: чем сильнее будет сходство, тем ближе друг к другу по смыслу запрос и заголовок… Поисковый алгоритм «Королёв» сравнивает семантические векторы поисковых запросов и веб-страниц целиком — а не только их заголовков. Это позволяет выйти на новый уровень понимания смысла».

За сопоставление смысла запросов и документов отвечает поисковая модель на основе нейронных сетей. Нейросети — один из популярных в последние годы методов машинного обучения — показывают отличные результаты в анализе естественной информации: картинок, звука, текста. Для обучения необходимо огромное количество примеров с нужными объектами или их отсутствием (отрицательные примеры), но в результате нейросеть получает способность верно определять нужные объекты. Материалом для обучения алгоритмов «Палех» и «Королев» стали реальные запросы пользователей «Яндекса» и полученные ими результаты поиска.

«Яндекс» использует нейросети и в других своих разработках, среди которых распознавание и синтез речи, поиск по картинкам, технология прогноза погоды «Метеум», сортировка писем в почте, антипорно в поиске.

Раньше компания оценивала качество поиска с помощью собственных специалистов. Теперь будут учитываться также оценки, которые выставляют пользователи «Яндекс.Толоки» — сервиса, где любой желающий может выполнять задания и получать за них вознаграждение. Сейчас в нем зарегистрировано более 1 млн пользователей, которые выставили более 2 млрд оценок.

По мнению газеты «Коммерсантъ», внедрение данной разработки может повлиять на долю рынка «Яндекса» в поиске: в последние годы компания теряла позиции, постепенно уступая мировому магнату поиска Google. По данным на июль 2017 года, «Яндекс» занимал 51% рынка поиска в России, Google — 44% для Web (для мобильных устройств, особенно оснащенных OS Android, рейтинг «Яндекса» гораздо скромнее — 28,1% против 71,1% у Google по итогам июля). И эти данные демонстрируют «потери» — в 2014 году, например, доля «Яндекса» для Web составляла более 60%; для компании, основу выручки которой составляет контекстная реклама, разница ощутима).
«Важно, что подумают об этом рекламодатели. Если улучшится качество поиска и таргетирование рекламы, это повысит привлекательность сервиса «Яндекса» и позволит ему ускорить темпы роста выручки»,— говорит Александр Венгранович, аналитик инвестиционного банка «Открытие Капитал» по телекоммуникациям, медиа и IT.

Источники: блог «Яндекса», «Коммерсантъ»