На Хабре появилась интересная обзорная статья по основным трендам 2021 года в области обработки естественного языка. По большей части статья переводная, притом сам переводчик признаётся, что перевёл не весь материал. Но комментарии и примечания русского автора также представляют интерес.

Среди тенденций года отмечены:

- разработка все более крупных предобученных моделей и расширение спектра их применения;

- массовое многозадачное обучение и общая смена подхода к обучению моделей в сторону более разнообразных наборов задач;

- стремление к масштабируемости архитектуры, развитие разных, в том числе комбинированных, вариантов;

- «затравочное» обучение модели как альтернатива обучению на подборке готовых примеров;

- повышение внимания к бенчмаркингу, учёт одновременно многих характеристик модели;

- продолжается работа над дополнением моделей возможностью извлечения информации;

- по-прежнему востребованным остаётся автоматическое создание высококачественных изображений;

- как и использование моделей в цикле для содействия исследователям в совершении открытий и в создании инноваций.

Подробнее об этих и других тенденциях – в статье на Хабре, там же – ссылки на англоязычные источники.