В рамках проводимых исследований на факультете ВМК МГУ по тематике «Искусственный интеллект в кибербезопасности» представители НОШ «Мозг, когнитивные системы, искусственный интеллект» выявили, что главным препятствием для использования моделей машинного обучения в критических приложениях является проблема, связанная с устойчивостью алгоритмов данного класса к внешним воздействиям. Результаты исследования опубликованы в International Journal of Open Information Technologies.
© РИА Новости / Максим Блинов
На сегодняшний день машинное обучение является практическим синонимом термина «искусственный интеллект», программы развития которого уже являются национальными во многих странах. Добавлять в приложения возможности машинного обучения становится все проще: многие библиотеки машинного обучения и онлайн-сервисы уже не требуют глубоких знаний в этой области.
В работе рассматривается проблема атак на системы машинного обучения с целью добиться желаемого поведения системы или воспрепятствовать ее корректной работе. Первым шагом к противодействию такого рода угрозам, по мнению ученых, являются их классификация, понимание их типов, равно как и мест приложения. Это связано с тем, что природа атак на системы машинного обучения и глубокого обучения отличается от других киберугроз.
Однако даже у простых в использовании систем машинного обучения есть свои проблемы. Среди них — угроза состязательных атак, которая стала одной из важных проблем приложений машинного обучения. Под этим понимаются специальные воздействия на элементы конвейера системы, запускающие необходимое злоумышленнику поведение. Таковым поведением может быть, например, неверная работа классификатора. Но существуют и атаки, которые направлены на извлечение параметров модели.
«Эта информация поможет атакующему создать обманывающие систему примеры. Существуют атаки, которые позволяют проверить, например, принадлежность определенных данных к тренировочному набору и, возможно, раскрыть тем самым конфиденциальную информацию», — рассказал Евгений Ильюшин, сотрудник кафедры информационной безопасности ВМК МГУ.
Состязательные атаки отличаются от других типов угроз безопасности. Они опираются на сложность глубоких нейронных сетей и их вероятностную природу, чтобы найти способы их использования и изменения их поведения.
«Состязательная атака часто используется в широком смысле для обозначения различных типов злонамеренных действий против моделей машинного обучения. Возможности обнаружить их с помощью классических инструментов, используемых для защиты программного обеспечения от киберугроз, нет», — добавил старший научный сотрудник кафедры информационной безопасности ВМК МГУ Дмитрий Намиот.
Состязательные атаки манипулируют поведением моделей машинного обучения. По одной версии, состязательные атаки существуют из-за нелинейного характера систем, что ведет к существованию некоторых неохваченных алгоритмом генерализации областей данных. По другой — это, наоборот, переобучение системы, когда даже небольшие отклонения от тренировочного набора данных обрабатываются неверно.
Для критических применений машинного обучения остро стоит вопрос сертификации систем, моделей и наборов данных, подобно тому, как это делается для традиционных систем программного обеспечения. Важно также, что состязательные атаки вызывают проблемы с доверием к алгоритмам машинного обучения, особенно к глубоким нейронным сетям. Эти инструменты дают огромные возможности в самых разных областях и уже стали частью нашей жизни. Именно поэтому так важно изучать их уязвимости и защищать от посягательств злоумышленников.
Информация предоставлена пресс-службой МГУ
Источник фото: ria.ru
