OpenAI, некоммерческая калифорнийская организация, представила фрейморк Safety Gym. Это набор инструментов для сравнения алгоритмов между собой выявления угроз и ошибок. Цель Safety Gym – повышение безопасности систем, оснащенных искусственным интеллектом, в частности, беспилотных транспортных средств.

Safety Gym построена на обучении с ограниченным подкреплением (constrained reinforcement learning), в котором присутствует цена функций, сдерживающая ИИ. В среде Safety Gym агент движется по ограниченному пространству и всякий раз, выполняя какое-либо небезопасное действие, видит красный свет и подвергается штрафу. Есть несколько уровней сложности, от самых простых до предельно сложных.

«Мы надеемся, что такие системы, как Safety Gym, упростят разработчикам ИИ сотрудничество в области безопасности ИИ путем создания открытых, общих систем», — говорится на сайте OpenAI.

Открытость ИИ — это принцип, за который OpenAI выступает с момента своего основания. Судя по темпам роста вычислительных мощностей для обучения моделей ИИ, разработка ИИ скоро сосредоточится в руках частных компаний. По мнению экспертов компании, государства должны адекватно финансировать эту отрасль.

Источник: Хайтек+