Ищете надежный ИИ? Enkrypt определяет самые безопасные LLM с помощью нового инструмента

В эпоху генеративного искусственного интеллекта безопасность больших языковых моделей (LLM) так же важна, как и их эффективность при выполнении различных задач. Многие команды уже осознают это и повышают планку в своих усилиях по тестированию и оценке, чтобы предвидеть и устранять проблемы, которые могут привести к ухудшению пользовательского опыта, упущенным возможностям и даже штрафам со стороны регулирующих органов.

Но, когда модели развиваются так быстро как в областях с открытым, так и с закрытым исходным кодом, как определить, какой LLM наиболее безопасен для начала? Что ж, у Enkrypt есть ответ: таблица лидеров по безопасности LLM. Стартап из Бостона, известный тем, что предлагает уровень контроля для безопасного использования генеративного искусственного интеллекта, оценил LLM от лучшего к худшему, основываясь на их уязвимости к различным рискам безопасности и надежности.

Таблица лидеров охватывает десятки наиболее эффективных языковых моделей, включая семейства GPT и Claude. Что еще более важно, он дает некоторые интересные сведения о факторах риска, которые могут иметь решающее значение при выборе безопасного и надежного LLM и принятии мер для получения от них максимальной пользы.

Понимание таблицы лидеров безопасности LLM Enkrypt

Когда предприятие использует в приложении большую языковую модель (например, чат-бот), оно постоянно проводит внутренние тесты для проверки на наличие угроз безопасности, таких как взломы и необъективные выходные данные. Даже небольшая ошибка в этом подходе может привести к утечке личной информации или получению необъективных результатов, как это произошло с чат-ботом Google Gemini. Влияние может быть еще большим в регулируемых отраслях, таких как финансовые технологии или здравоохранение.

Компания Enkrypt, основанная в 2023 году, упрощает решение этой проблемы для предприятий с помощью Sentry — комплексного решения, которое выявляет уязвимости в приложениях искусственного интеллекта и развертывает автоматические защитные ограждения для их блокировки. Теперь, в качестве следующего шага в этой работе, компания расширяет свое предложение по красной команде с помощью таблицы лидеров по безопасности LLM, которая предоставляет информацию, которая поможет командам начать с самой безопасной модели.

Предложение, разработанное после тщательного тестирования различных сценариев и наборов данных, обеспечивает комплексную оценку рисков для 36 программ LLM с открытым и закрытым исходным кодом. Он учитывает множество показателей безопасности, включая способность модели избегать создания вредного, предвзятого или нежелательного контента, а также ее потенциал по блокированию вредоносных программ или мгновенным атакам путем внедрения.

Кто получит самую безопасную награду LLM?

По состоянию на 8 мая в таблице лидеров Enkrypt победителем является GPT-4-Turbo от OpenAI с наименьшим показателем риска 15,23. Модель очень эффективно защищает от джейлбрейк-атак и дает токсичные результаты всего в 0,86% случаев. Однако проблемы предвзятости и вредоносного ПО действительно затрагивали модель в 38,27% и 21,78% случаев.

Следующими в списке являются модели семейства Meta Llama2 и Llama 3 с показателями риска от 23,09 до 35,69. Claude 3 Haiku из Anthropic также занимает 10-е место в таблице лидеров с показателем риска 34,83. По словам Enkrypt, он неплохо справляется со всеми тестами, за исключением предвзятости, где он дает неверные ответы более чем в 90% случаев.

Примечательно, что последними в таблице лидеров являются недавно анонсированные модели Saul Instruct-V1 и Microsoft Phi3-Mini-4K с показателями риска 60,44 и 54,16 соответственно. Mixtral 8X22B и Snowflake Arctic также занимают в списке низкие места – 28 и 27.

Однако важно отметить, что этот список будет меняться по мере совершенствования существующих моделей и появления на сцене новых. Enkrypt планирует регулярно обновлять таблицу лидеров, чтобы отображать изменения.

«Мы обновляем таблицу лидеров Day Zero, показывая большинство новых моделей. Что касается обновлений моделей, таблица лидеров будет обновляться еженедельно. По мере развития исследований в области безопасности ИИ и разработки новых технологий в таблице лидеров будут регулярно обновляться данные, отражающие новейшие открытия и технологии. Это гарантирует, что таблица лидеров останется актуальным и авторитетным ресурсом», — рассказал VentureBeat Сахи Агарвал, соучредитель Enkrypt.

В конце концов, Агарвал надеется, что этот развивающийся список даст корпоративным командам возможность углубиться в сильные и слабые стороны каждого популярного LLM – будь то избежание предвзятости или блокирование быстрого внедрения – и использовать это, чтобы решить, что лучше всего подойдет для их целевого варианта использования.

«Интеграция нашей таблицы лидеров в стратегию искусственного интеллекта не только расширяет технологические возможности, но и поддерживает этические стандарты, предлагая конкурентное преимущество и укрепляя доверие. Группа по рискам/безопасности/управлению внутри предприятия будет использовать таблицу лидеров, чтобы указать, какие модели безопасно использовать командам по продукту и инженерам. В настоящее время у них нет такого уровня информации с точки зрения безопасности – есть только публичные контрольные показатели эффективности. Отчеты об оценке лидеров и красной команды содержат рекомендации по безопасности для моделей при их развертывании», — добавил он.