[ad_1]
Использование больших языковых моделей (LLM) для аудиоперехвата транзакций, в которых используются данные банковских счетов, является последней угрозой, доступной любому злоумышленнику, который использует ИИ в своей деятельности. LLM уже используются в качестве оружия для создания убедительных фишинговых кампаний, запуска скоординированных атак социальной инженерии и создания более устойчивых разновидностей программ-вымогателей.
Команда IBM по анализу угроз пошла еще дальше в сценариях атак LLM и попыталась перехватить живой разговор, заменив законные финансовые данные мошенническими инструкциями. Все, что потребовалось, — это три секунды чьего-то записанного голоса, чтобы получить достаточно данных для обучения LLM поддержке атаки, подтверждающей концепцию (POC). IBM называет конструкцию POC «пугающе простой».
Другая сторона, участвовавшая в разговоре, не определила, что финансовые инструкции и информация о счете являются мошенническими.
Использование LLM для атак на основе звука
Подслушивание звука — это новый тип генеративной атаки на основе искусственного интеллекта, которая дает злоумышленникам возможность перехватывать и манипулировать живыми разговорами, не будучи обнаруженными какой-либо стороной. Используя простые методы переобучения LLM, исследователи IBM Threat Intelligence смогли манипулировать аудиотранзакциями в реальном времени с помощью искусственного интеллекта поколения. Их доказательство концепции сработало настолько хорошо, что ни одна из сторон, участвовавших в разговоре, не знала, что их обсуждение прослушивается.
Используя финансовый разговор в качестве тестового примера, служба IBM Threat Intelligence смогла перехватить текущий разговор и манипулировать ответами в режиме реального времени с помощью LLM. Разговор был сосредоточен на перенаправлении денег на фальшивый состязательный счет, а не на предполагаемого получателя, причем собеседники разговора не знали, что их транзакция была скомпрометирована.
Команда IBM по анализу угроз говорит, что организовать атаку было довольно легко. Разговор был успешно изменен настолько хорошо, что инструкции по перенаправлению денег на фальшивый состязательный счет вместо предполагаемого получателя не были идентифицированы ни одной из вовлеченных сторон.
Замена ключевых слов с использованием «банковского счета» в качестве триггера
Использование искусственного интеллекта для идентификации и перехвата ключевых слов и замены их в контексте — это суть того, как работает аудиоразъем. Например, исключение слова «банковский счет» и замена его вредоносными, мошенническими данными банковского счета было достигнуто благодаря их проверке концепции.
Чента Ли, главный архитектор системы анализа угроз IBM Security, пишет в своем блоге, опубликованном 1 февраля: «Для целей эксперимента мы использовали ключевое слово «банковский счет», поэтому всякий раз, когда кто-либо упоминал свой банковский счет, мы давали указание LLM заменить номер своего банковского счета на поддельный. Благодаря этому злоумышленники могут незаметно подменить любой банковский счет своим, используя клонированный голос. Это похоже на превращение людей в разговоре в фиктивных марионеток, и из-за сохранения исходного контекста это трудно обнаружить».
«Создание этого доказательства концепции (PoC) оказалось на удивление и пугающе простым. Большую часть времени мы потратили на то, чтобы выяснить, как захватить звук с микрофона и передать его генеративному искусственному интеллекту. Раньше самой сложной задачей было понять семантику разговора и правильно изменить предложение. Тем не менее, LLM значительно упрощает анализ и понимание разговора», — пишет Ли.
Используя этот метод, любое устройство, имеющее доступ к LLM, может быть использовано для запуска атаки. IBM называет аудиоподключение «тихой атакой». Ли пишет: «Мы можем осуществить эту атаку разными способами. Например, это может быть вредоносное ПО, установленное на телефонах жертв, или вредоносная или скомпрометированная служба передачи голоса по IP (VoIP). Злоумышленники также могут позвонить двум жертвам одновременно, чтобы начать разговор между ними, но это требует продвинутых навыков социальной инженерии».
Сердце аудиоразъема начинается с обученных специалистов LLM
IBM Threat Intelligence создала свою концепцию, используя подход «человек посередине», который позволил отслеживать живой разговор. Они использовали преобразование речи в текст для преобразования голоса в текст и LLM для получения контекста разговора. LLM был обучен изменять предложение, когда кто-то произносил «банковский счет». Когда модель изменяла предложение, она использовала преобразование текста в речь и предварительно клонированные голоса для генерации и воспроизведения звука в контексте текущего разговора.
Исследователи предоставили следующую диаграмму последовательности, которая показывает, как их программа на лету меняет контекст разговоров, делая его сверхреалистичным для обеих сторон.
Источник: IBM Security Intelligence: Аудио-джекинг: использование генеративного искусственного интеллекта для искажения аудиотранзакций в реальном времени, 1 февраля 2024 г.
Избегание использования аудиоразъема
POC IBM указывает на необходимость еще большей бдительности, когда речь идет об атаках на основе социальной инженерии, когда всего три секунды человеческого голоса могут быть использованы для обучения модели. Команда IBM Threat Intelligence отмечает, что такая техника атаки делает жертвами тех, кто наименее подготовлен к борьбе с кибератаками.
Шаги по повышению бдительности в отношении прослушивания аудио включают в себя:
Обязательно перефразируйте и повторите информацию. Хотя достижения поколения ИИ впечатляют своей способностью автоматизировать один и тот же процесс снова и снова, он не так эффективен в понимании человеческой интуиции, передаваемой через естественный язык. Будьте осторожны с финансовыми разговорами, которые звучат немного необычно или не соответствуют ритму предыдущих решений. Повторение и перефразирование материалов и запрос подтверждения из разных контекстов — это начало.
Безопасность адаптируется для выявления поддельного звука. Ли говорит, что технологии обнаружения дипфейков продолжают развиваться. Учитывая, насколько глубокие фейки влияют на все сферы экономики, от развлечений и спорта до политики, ожидайте увидеть быстрые инновации в этой области. Со временем «тихие захваты» станут основным направлением новых инвестиций в НИОКР, особенно со стороны финансовых учреждений.
Лучшие практики выдерживают испытание временем как первая линия защиты. Ли отмечает, что для того, чтобы злоумышленники преуспели в такой атаке, самый простой способ — скомпрометировать устройство пользователя, например телефон или ноутбук. Он добавил, что «фишинг, эксплуатация уязвимостей и использование скомпрометированных учетных данных остаются основными векторами угроз для злоумышленников, что создает защитную линию для потребителей за счет принятия сегодня известных лучших практик, включая отказ от перехода по подозрительным ссылкам или открытия вложений, обновление программного обеспечения». и использование надежных паролей».
OnUse доверенные устройства и службы. Незащищенные устройства и онлайн-сервисы со слабой безопасностью станут объектами попыток взлома аудио. Выборочно блокируйте службы и устройства, которые использует ваша организация, и следите за актуальностью исправлений, включая обновления программного обеспечения. Примите менталитет нулевого доверия к любому устройству или услуге и предположите, что оно было взломано, и необходимо строго обеспечить доступ с наименьшими привилегиями.
[ad_2]
Источник
