Почему состязательный ИИ — это киберугроза, которую никто не предвидит

Согласно недавнему отчету, намерения руководителей служб безопасности не совпадают с их действиями по обеспечению безопасности ИИ и MLOps.

Подавляющее большинство ИТ-руководителей (97%) заявляют, что обеспечение безопасности ИИ и систем безопасности имеет важное значение, однако только 61% уверены, что получат необходимое финансирование. Несмотря на то, что большинство опрошенных ИТ-руководителей (77%) заявили, что столкнулись с той или иной формой взлома, связанной с ИИ (не конкретно с моделями), только 30% развернули ручную защиту от состязательных атак в своих существующих разработках ИИ, включая конвейеры MLOps.

Лишь 14% планируют и проверяют такие атаки. Amazon Web Services определяет MLOps как «набор практик, которые автоматизируют и упрощают рабочие процессы и развертывания машинного обучения (ML)».

ИТ-лидеры все больше полагаются на модели ИИ, что делает их привлекательной поверхностью для самых разных атак с использованием ИИ.

В среднем компании, возглавляющие ИТ-лидеры, производят 1689 моделей, и 98% ИТ-руководителей считают, что некоторые из их моделей искусственного интеллекта имеют решающее значение для их успеха. Восемьдесят три процента наблюдают широкое использование во всех командах своих организаций. «Индустрия усердно работает над ускорением внедрения ИИ, не принимая при этом мер безопасности собственности», — пишут аналитики отчета.

В отчете HiddenLayer об угрозах для ИИ представлен критический анализ рисков, с которыми сталкиваются системы на базе ИИ, а также достижения, достигнутые в обеспечении безопасности конвейеров ИИ и MLOps.

Определение состязательного ИИ

Цель состязательного ИИ — намеренно ввести в заблуждение системы ИИ и машинного обучения (МО), чтобы они стали бесполезными для тех случаев использования, для которых они предназначены. Состязательный ИИ означает «использование методов искусственного интеллекта для манипулирования или обмана систем ИИ». Это похоже на хитрого шахматиста, который использует уязвимости своего противника. Эти умные злоумышленники могут обходить традиционные системы киберзащиты, используя сложные алгоритмы и методы, чтобы уклоняться от обнаружения и запускать целевые атаки».

В отчете HiddenLayer определены три широких класса состязательного ИИ, определенные ниже:

Состязательные атаки машинного обучения. Цель атак этого типа, направленных на использование уязвимостей в алгоритмах, варьируется от изменения более широкого приложения ИИ или поведения систем до уклонения от обнаружения систем обнаружения и реагирования на основе ИИ или кражи базовой технологии. Национальные государства практикуют шпионаж ради финансовой и политической выгоды, стремясь перепроектировать модели для получения модельных данных, а также использовать модели в качестве оружия для своего использования.

Атаки на системы генеративного ИИ. Целью этих атак часто является нацеливание на фильтры, ограждения и ограничения, предназначенные для защиты генеративных моделей ИИ, включая каждый источник данных и большие языковые модели (LLM), на которые они полагаются. VentureBeat узнал, что атаки национальных государств продолжают превращать LLM в оружие.

Злоумышленники считают, что их цель — обойти ограничения на контент, чтобы они могли свободно создавать запрещенный контент, который в противном случае модель блокировала бы, включая дипфейки, дезинформацию или другие виды вредоносных цифровых медиа. Атаки на системы искусственного интеллекта являются фаворитом национальных государств, пытающихся повлиять на демократические выборы в США и других странах мира. Ежегодная оценка угроз разведывательного сообщества США в 2024 году обнаруживает, что «Китай демонстрирует более высокую степень изощренности в своей деятельности по влиянию, включая эксперименты с генеративным искусственным интеллектом» и «Китайская Народная Республика (КНР) может попытаться повлиять на выборы в США в 2024 году на каком-то уровне из-за своего желания отодвинуть на второй план критики Китая и усиливают разногласия в обществе США».

MLOps и атаки на цепочки поставок программного обеспечения. Чаще всего это операции национальных государств и крупных синдикатов электронной преступности, направленные на разрушение инфраструктур, сетей и платформ, используемых для создания и развертывания систем искусственного интеллекта.. Стратегии атаки включают в себя нацеливание на компоненты, используемые в конвейерах MLOps, для внедрения вредоносного кода в систему ИИ. Отравленные наборы данных доставляются с помощью пакетов программного обеспечения, выполнения произвольного кода и методов доставки вредоносного ПО.

Четыре способа защиты от враждебной атаки ИИ

Чем больше разрывов в конвейерах DevOps и CI/CD, тем более уязвимой становится разработка моделей искусственного интеллекта и машинного обучения. Защита моделей по-прежнему остается неуловимой и подвижной целью, которая становится еще более сложной из-за использования искусственного интеллекта в качестве оружия.

Однако это лишь некоторые из многих шагов, которые организации могут предпринять для защиты от атак состязательного ИИ. Они включают в себя следующее:

Сделайте «красную команду» и оценку рисков частью мышечной памяти или ДНК организации. Не соглашайтесь на то, чтобы действовать в красной команде время от времени или, что еще хуже, только тогда, когда атака вызывает новое чувство безотлагательности и бдительности. Красная команда отныне должна стать частью ДНК любого DevSecOps, поддерживающего MLOps. Цель состоит в том, чтобы превентивно выявлять слабые места системы и всех конвейеров, а также работать над определением приоритетов и усилением любых векторов атак, которые возникают в рамках рабочих процессов жизненного цикла разработки системы (SDLC) MLOps.

Будьте в курсе событий и внедрите защитную структуру для ИИ, которая лучше всего подходит для вашей организации. Попросите члена команды DevSecOps быть в курсе многих доступных сегодня защитных инфраструктур. Знание того, какой из них лучше всего соответствует целям организации, может помочь защитить MLOps, сэкономить время и обеспечить безопасность более широкого конвейера SDLC и CI/CD в процессе. Примеры включают в себя структуру управления рисками ИИ NIST и Руководство по безопасности и конфиденциальности ИИ OWASP.

Уменьшите угрозу атак на основе синтетических данных за счет интеграции биометрических методов и методов аутентификации без пароля в каждую систему управления доступом к идентификационным данным. Компания VentureBeat узнала, что синтетические данные все чаще используются для выдачи себя за личности и получения доступа к исходному коду и репозиториям моделей. Рассмотрите возможность использования комбинации методов биометрии, включая распознавание лиц, сканирование отпечатков пальцев и распознавание голоса, в сочетании с технологиями доступа без пароля для защиты систем, используемых в MLOps. Поколение искусственного интеллекта доказало свою способность создавать синтетические данные. Команды MLOps будут все чаще бороться с дипфейковыми угрозами, поэтому многоуровневый подход к обеспечению доступа быстро становится обязательным.

Проверяйте системы проверки случайным образом и часто, сохраняя привилегии доступа актуальными. Поскольку атаки с использованием синтетических идентификационных данных начинают становиться одной из самых сложных угроз для сдерживания, поддержание систем проверки в актуальном состоянии и их аудит имеют решающее значение. VentureBeat полагает, что атаки следующего поколения будут в первую очередь основаны на синтетических данных, агрегированных вместе, чтобы выглядеть законными.