Microsoft запускает новые инструменты Azure AI для снижения рисков безопасности и надежности LLM

Поскольку спрос на генеративный искусственный интеллект продолжает расти, опасения по поводу его безопасного и надежного внедрения стали более заметными, чем когда-либо. Предприятия хотят быть уверены, что приложения большой языковой модели (LLM), разрабатываемые для внутреннего или внешнего использования, обеспечивают получение результатов высочайшего качества, не выходя за пределы неизвестных территорий.

Признавая эти опасения, Microsoft сегодня объявила о выпуске новых инструментов Azure AI, которые позволяют разработчикам решать не только проблему автоматических галлюцинаций (очень распространенная проблема, связанная с поколением искусственного интеллекта), но и уязвимости безопасности, такие как быстрое внедрение, когда модель обманывается. в создание личного или вредоносного контента — например, дипфейков Тейлор Свифт, созданных собственным создателем изображений с искусственным интеллектом Microsoft.

В настоящее время эти предложения проходят предварительный просмотр и, как ожидается, станут широко доступными в ближайшие месяцы. Однако Microsoft пока не сообщила конкретных сроков.

Что предлагает Microsoft: взгляд на новые инструменты

С появлением LLM атаки с быстрым внедрением стали более заметными. По сути, злоумышленник может изменить приглашение ввода модели таким образом, чтобы обойти обычные операции модели, включая элементы управления безопасностью, и манипулировать ею для раскрытия личного или вредоносного контента, ставя под угрозу безопасность или конфиденциальность. Эти атаки могут осуществляться двумя способами: напрямую, когда злоумышленник напрямую взаимодействует с LLM, или косвенно, когда используется сторонний источник данных, например вредоносная веб-страница.

Чтобы исправить обе эти формы внедрения подсказок, Microsoft добавляет в Azure AI функцию Prompt Shields — комплексную возможность, которая использует передовые алгоритмы машинного обучения (ML) и обработку естественного языка для автоматического анализа подсказок и сторонних данных на предмет злонамеренных намерений и блокировки их от добравшись до модели.

Он предназначен для интеграции с тремя предложениями искусственного интеллекта от Microsoft: Azure OpenAI Service, Azure AI Content Safety и Azure AI Studio.

Но это еще не все.

Помимо работы по блокированию угрожающих безопасности атак с быстрым внедрением, Microsoft также представила инструменты, позволяющие сосредоточиться на надежности приложений поколения AI. Сюда входят готовые шаблоны для системных сообщений, ориентированных на безопасность, и новая функция под названием «Обнаружение заземления».

Первое, как объясняет Microsoft, позволяет разработчикам создавать системные сообщения, которые направляют поведение модели к безопасным, ответственным и обоснованным результатам. Последний использует тонко настроенную пользовательскую языковую модель для обнаружения галлюцинаций или неточного материала в текстовых выводах, создаваемых моделью. Оба они появятся в Azure AI Studio и службе Azure OpenAI.

Примечательно, что метрика для определения заземленности также будет сопровождаться автоматическими оценками для стресс-тестирования приложения поколения AI на предмет риска и безопасности. Эти показатели будут измерять вероятность того, что приложение будет взломано и создаст неприемлемый контент любого рода. Оценки также будут включать объяснения на естественном языке, которые помогут разработчикам найти соответствующие способы устранения проблем.

«Сегодня многим организациям не хватает ресурсов для стресс-тестирования своих приложений генеративного ИИ, чтобы они могли уверенно переходить от прототипа к производству. Во-первых, может быть сложно создать высококачественный набор тестовых данных, отражающий ряд новых и возникающих рисков, таких как атаки с помощью джейлбрейка. Даже при наличии качественных данных оценка может быть сложным и ручным процессом, и командам разработчиков может быть сложно интерпретировать результаты для принятия эффективных мер по снижению рисков», — отметила в своем блоге Сара Берд, директор по продукту подразделения Responsible AI в Microsoft.

Расширенный мониторинг в производстве

Наконец, когда приложение будет запущено в производство, Microsoft обеспечит мониторинг в режиме реального времени, чтобы помочь разработчикам внимательно следить за тем, какие входные и выходные данные активируют функции безопасности, такие как Prompt Shields. Эта функция, появившаяся в Azure OpenAI Service и AI Studio, будет создавать подробные визуализации, подчеркивающие объем и соотношение заблокированных пользовательских входных данных/выходных данных модели, а также разбивку по серьезности/категории.

Используя этот уровень прозрачности, разработчики смогут понять тенденции вредоносных запросов с течением времени и корректировать конфигурации своих фильтров контента, элементы управления, а также более широкую структуру приложений для повышения безопасности.

Microsoft уже довольно давно продвигает свои предложения в области искусственного интеллекта. Компания начала с моделей OpenAI, но недавно расширилась, включив в нее другие предложения, в том числе от Mistral. Совсем недавно компания даже наняла Мустафу Сулеймана и команду из Inflection AI, что выглядело как подход к снижению зависимости от исследовательской лаборатории под руководством Сэма Альтмана.

Теперь добавление этих новых инструментов безопасности и надежности основано на работе, проделанной компанией, предоставляя разработчикам лучший и более безопасный способ создания приложений искусственного интеллекта поколения на основе предлагаемых ею моделей. Не говоря уже о том, что акцент на безопасности и надежности также подчеркивает стремление компании создавать надежный искусственный интеллект — то, что имеет решающее значение для предприятий и в конечном итоге поможет привлечь больше клиентов.