[ad_1]
Присоединяйтесь к нам в Атланте 10 апреля и изучите ситуацию в сфере безопасности. Мы рассмотрим концепцию, преимущества и варианты использования ИИ для служб безопасности. Запросите приглашение здесь.
Генеративный ИИ — новая движущая сила современного бизнеса, но та же технология потенциально может открыть ворота для совершенно новых векторов атак, мгновенно подвергая риску бизнес и его репутацию. SydeLabs, калифорнийский стартап, решает эту проблему с помощью брандмауэра, работающего в режиме реального времени и основанного на намерениях. Сегодня стартап привлек $2,5 млн начального финансирования от RTP Global, Picus Capital и других бизнес-ангелов.
Несмотря на то, что в сфере безопасности ИИ существует множество других игроков, SydeLabs стремится отличаться от них своим комплексным набором решений, который помогает разработчикам избегать уязвимостей больших языковых моделей (LLM), включая менее известные, на всех этапах разработки. Жизненный цикл проекта – от разработки до внедрения.
Компания уже сотрудничает с несколькими организациями и планирует использовать свежий капитал, чтобы сосредоточиться на исследованиях и разработках и обновлении своего технологического стека, чтобы опережать злоумышленников, стремящихся поставить под угрозу генеративные системы искусственного интеллекта предприятий.
Что предлагает SydeLabs?
По сути, SydeLabs разработала три ключевых продукта, ориентированных на искусственный интеллект: SydeBox, SydeGuard и SydeComply. Первое, доступное в настоящее время в бета-версии, представляет собой решение для красной команды самообслуживания, которое позволяет командам проводить стресс-тестирование своих приложений и моделей искусственного интеллекта, чтобы определить, подвержены ли они каким-либо уязвимостям. Два других, которые планируется запустить в ближайшее время, направлены на обеспечение защиты на основе намерений в режиме реального времени и выявление/устранение пробелов в системах искусственного интеллекта, которые могут привести к проблемам с соблюдением требований в различных частях мира.
«Во время бета-тестирования SydeBox мы смогли обнаружить различные уязвимости, такие как утечки обучающих данных, утечки системных подсказок, быстрые инъекции, обходы безопасного выравнивания и т. д. С другой стороны, наша система защиты на основе намерений в реальном времени SydeGuard может обнаруживать и предотвращать быстрые инъекции, отказ от атак на кошельки, попытки утечки данных, попытки утечки системных сообщений, неправомерное использование систем искусственного интеллекта и т. д.», — рассказала VentureBeat Анкита Кумари, которая вместе с Патвой основала SydeBox.
В решении «красной команды» используется агент искусственного интеллекта, который создает тестовые атаки (на основе собственных исследований и общедоступных данных), а также LLM, который определяет успех атак на основе реакции целевой системы.
Между тем, SydeGuard использует комбинацию запатентованных моделей, которые определяют намерения конечного пользователя с помощью различных тактик, методов и процедур (TTP). Модели проверяют каждое приглашение на наличие потенциальных угроз и присваивают оценку риска приглашению, сеансу пользователя и самому пользователю.
Однако на основании этого профиля он не блокирует пользователя сразу. Вместо этого он передает данные командам корпоративной безопасности, предоставляя им возможность либо заблокировать приглашение/пользователя, отслеживать и дать стандартный ответ, либо отправить их в приманку, чтобы обмануть злоумышленника с помощью фиктивных данных. Это дает командам контроль над тем, как они хотят реагировать на потенциальную атаку.
Кумари не особо рассказал о предложении, ориентированном на соблюдение требований, хотя, судя по всему, оно будет использовать разрабатываемые возможности обнаружения для выявления пробелов, в которых компания может нарушать внутренние или внешние правила.
За месяц отмечено 10 000 уязвимостей
На данный момент SydeLabs находится на стадии подготовки к получению доходов и быстро движется к расширению своего предложения и зарабатыванию денег. Компания запустила свое решение для красной команды SydeBox 1 марта 2024 года, и с тех пор его приняли более 15 предприятий, которые обнаружили более 10 000 уязвимостей в более чем 50 приложениях/моделях. Эти приложения/модели либо находятся в производстве, либо все еще находятся в стадии разработки, подтвердил Кумари.
На начальном этапе стартап планирует сосредоточиться на исследованиях и разработках и приблизиться к тому, чтобы сделать SydeGuard и SydeComply доступными для клиентов. В долгосрочной перспективе компания намерена предложить бесплатное решение «красной команды» предприятиям, желающим обнаруживать уязвимости в своих приложениях и монетизировать SydeGuard с использованием модели, основанной на потреблении.
«Ключевым аспектом успеха продукта кибербезопасности является его точность и способность опережать злоумышленников. Следовательно, мы уделяем огромное внимание постоянному обновлению нашей модели с учетом новых векторов атак и новых методов атак», — добавил соучредитель.
Финансирование стартапа происходит в то время, когда безопасность и надежность приложений поколения AI находятся под пристальным вниманием из-за нескольких случаев атак с быстрым внедрением, приводящих к созданию дипфейков известных знаменитостей. Совсем недавно Microsoft анонсировала новый набор инструментов Azure AI для обнаружения галлюцинаций и предотвращения атак. Skyflow, стартап, предоставляющий предприятиям хранилище конфиденциальности для безопасной разработки искусственного интеллекта, также привлек 30 миллионов долларов в новом раунде.
В сфере «красной команды» и предотвращения атак в реальном времени SydeLabs конкурирует с такими игроками, как Lakera и Prompt Security. Однако Кумари подчеркнул, что SydeLabs может предложить больше, чем эти игроки. Кроме того, по ее словам, первые тесты показывают, что продукты компании легко превосходят все эти инструменты с точки зрения точности и производительности.
[ad_2]
Источник
