Современные системы безопасности бывают двух видов: основанные на проверке человеком или полностью автоматические. Так называемые «решения, управляемые аналитиками» полагаются на правила, созданные экспертами, а потому пропускают атаки, не соответствующие этим правилам. В то же время современные подходы машинного обучения опираются на «обнаружение аномалий». Не все аномалии оказываются кибер-атаками, но все они проверяются людьми.

Но что если существует решение, способное объединить эти методы? Как это будет выглядеть?

В новой работе исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского Технологического Института (MIT’s Computer Science and Artificial Intelligence Laboratory, CSAIL ) и стартап PatternEx, занимающийся машинным обучением, продемонстрировали AI2 – платформу на основе искусственного интеллекта, которая предсказывает кибер-атаки лучше существующих систем благодаря непрерывно поступающим данным от людей-экспертов.

Название платформе дало слияние двух терминов – «искусственный интеллект» (artificial intelligence) и «аналитическая интуиция» (analyst intuition), как ее называют эксперты) .

Команда показала, что AI2 обнаруживает до 85% кибер-атак, что в три раза лучше, чем результаты предыдущих машин, а также выдает в пять раз меньше ложных срабатываний. Система была протестирована на 3,6 миллиардов данных, называемых логами, которые пользователи сгенерировали за 3 месяца.

Для предсказания атак AI2 тщательно анализирует поступающую информацию и выявляет подозрительную активность, объединяя данные в осмысленные шаблоны. Таким образом система самообучается. Затем она посылает данные аналитикам, которые дают итоговый ответ, является ли событие атакой. Если являются, данная модель действий включается в машину для дальнейшего использования.

«Воспринимайте эту систему как виртуального аналитика», – говорит учёный Калян Веерамачанини (Kalyan Veeramachaneni) из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского Технологического Института, который разрабатывал AI2 вместе с Игнатио Арнальдо (Ignacio Arnaldo), главным специалистом по обработке данных PatternEx и бывшим младшим научным сотрудником (postdoc) CSAIL . – «Он постоянно создает новые модели, которые может усовершенствовать всего лишь за несколько часов, чем быстро и значительно улучшить свои показатели обнаружения».

Веерамачанини представил статью об этой системе на прошлой неделе в Нью-Йорке на Международной конференции по защите больших объемов данных (IEEE International Conference on Big Data Security).

Создание системы, в которой сливаются человеческие и машинные методы, сложно в частности из-за проверки вручную данных кибербезопасности для алгоритмов.

Например, предположим, что вы хотите разработать алгоритм компьютерного зрения, который может идентифицировать объекты с высокой точностью. Процесс маркировки данных прост: завербовать несколько добровольцев, которые пометят фотографии по системе «объект» или «не объект», и отправить эти данные в алгоритм.

«Но для тестов кибербезопасности мы не можем использовать обычных добровольцев, так как они не смогут отличить “DDOS” от эксфильтрации атаки», – комментирует Веерамачанини. – «Нам нужны эксперты по вопросам компьютерной безопасности».

Это создаёт еще одну проблему: эксперты – люди занятые, они не могут провести весь день, рассматривая кипы данных, которые были помечены как подозрительные. Компании, как известно, отказываются от планов с большим количеством работы, поэтому эффективная система должна быть способна совершенствоваться самостоятельно и не перегружать людей.

Секрет AI2 в том, что она использует сразу 3 алгоритма самообучения, а потом показывает трудные случаи людям для анализа. Он постоянно совершенствует через «непрерывную систему активного обучения».

Например, в первый день своего обучения AI2 выбрала 200 аномальных событий и отправила их специалистам. Со временем система улучшается, машина обнаруживает всё больше атак (и только атак) и экспертам нужно за день анализировать лишь 30-40 запросов машины.

«Эта разработка объединяет в себе сильные стороны аналитической интуиции и машинного обучения, и, в конечном итоге, ведет к снижению количества как ложных срабатываний, так и пропущенных кибер-атак», – говорит Нитиш Чавла (Nitesh Chawla), профессор компьютерных наук из Университета им. Феймана в Нотр-Даме (the Frank M. Freimann Professor of Computer Science at the University of Notre Dame). – «Это исследование может стать защитой от мошенничества, подмены номера счёта, с которыми сталкиваются потребители».

Команда говорит, что AI2 может обрабатывать до миллиардов строк логов, поминутно преобразуя фрагменты данных в различные «особенности» или различные типы поведения, которые со временем отмечаются как «нормальные» и «аномальные».

«Чем больше атак система обнаруживает, тем больше обратной связи аналитик получает, что, в свою очередь, повышает точность будущих прогнозов», – говорит Веерамачанини. – «Соединение человека и машины создает красивый каскадный эффект».

Источник: MIT News