OpenAI, некоммерческая калифорнийская организация, представила фрейморк Safety Gym. Это набор инструментов для сравнения алгоритмов между собой выявления угроз и ошибок. Цель Safety Gym – повышение безопасности систем, оснащенных искусственным интеллектом, в частности, беспилотных транспортных средств.

Safety Gym построена на обучении с ограниченным подкреплением (constrained reinforcement learning), в котором присутствует цена функций, сдерживающая ИИ. В среде Safety Gym агент движется по ограниченному пространству и всякий раз, выполняя какое-либо небезопасное действие, видит красный свет и подвергается штрафу. Есть несколько уровней сложности, от самых простых до предельно сложных.

«Мы надеемся, что такие системы, как Safety Gym, упростят разработчикам ИИ сотрудничество в области безопасности ИИ путем создания открытых, общих систем», — говорится на сайте OpenAI.

Читать дальше
ещё