Transformers 2.0 – это библиотека со всеми state-of-the-art моделями для предобработки естественного языка на TensorFlow. Разработчиками библиотеки являются исследователи из компании HuggingFace.

Библиотека содержит архитектуры для задач Natural Language Understanding и Natural Language Generation. Всего в библиотеке более 32 предобученных моделей для более чем ста языков.

Ключевой характеристикой Transformers 2.0 является возможность делиться обученными моделями между разработчиками. Помимо этого, есть возможность конвертации модели из одного фреймворка в другой. Затраты на написание кода для обучения модели значительно сокращаются – с библиотекой процедура обучения модели может быть описана 3 строчками.

В список доступных архитектур входят: BERT, GPT, GPT-2, Transformer-XL, XLNet, XLM, RoBERTa, DistilBERT. Все имплементации были протестированы на нескольких датасетах и повторяют результаты из оригинальных статей. HuggingFace также предоставляют библиотеку для использования трансформеров в мобильных устройствах, — swift-coreml-transformers.

В библиотеку встроены тесты для моделей. Эти тесты можно запустить с помощью стандартной библиотеке на Python для тестирования, – pytest. Тесты отличаются зависимости от фреймворка, на котором написана модель.

Источник: Neurohive