В отчете, поддержанном Госдепартаментом, представлен план действий по предотвращению катастрофических рисков ИИ

В докладе, подготовленном по заказу Госдепартамента США, предлагаются практические меры по предотвращению возникающих угроз передового искусственного интеллекта, включая превращение ИИ в оружие и угрозу потери контроля над технологией.

Отчет под названием «Глубокоэшелонированная защита: план действий по повышению безопасности и защиты передового искусственного интеллекта» был составлен Gladstone AI, компанией по обеспечению безопасности искусственного интеллекта, основанной братьями Джереми и Эдуардом Харрисами.

Работа над планом действий началась в октябре 2022 года, за месяц до релиза ChatGPT. В нем приняли участие более 200 человек, в том числе исследователи и руководители пограничных лабораторий искусственного интеллекта, эксперты по кибербезопасности и представители национальной безопасности в нескольких странах.

В докладе предупреждается, что, несмотря на свои огромные преимущества, передовой ИИ «создает совершенно новые категории катастрофических рисков, подобных оружию массового уничтожения (подобному оружию массового уничтожения) и позволяющему создавать оружие массового уничтожения… Учитывая растущий риск для национальной безопасности, создаваемый быстрым расширением возможностей ИИ от Вепонизация и потеря контроля – и особенно тот факт, что продолжающееся распространение этих возможностей усиливает оба риска – существует очевидная и настоятельная необходимость вмешательства правительства США».

Помимо предоставления технических подробностей о рисках, связанных с ИИ, в плане действий также представлены политические предложения, которые могут помочь США и их союзникам смягчить эти риски.

Вепонизация и потеря контроля

В докладе основное внимание уделяется двум ключевым рискам: вепонизация и Потеря контроля. Вепонизация включает в себя такие риски, как системы искусственного интеллекта, которые автономно обнаруживают уязвимости нулевого дня, кампании по дезинформации с использованием искусственного интеллекта и разработка биологического оружия. Уязвимости нулевого дня — это неизвестные или неустраненные уязвимости в компьютерной системе, которые злоумышленник может использовать в кибератаке.

Хотя до сих пор не существует системы искусственного интеллекта, которая могла бы в полной мере выполнить такие атаки, уже есть первые признаки прогресса на этих фронтах. Будущие поколения ИИ, возможно, смогут осуществлять такие атаки. «В результате распространение таких моделей – и даже доступ к ним – может быть чрезвычайно опасным без эффективных мер по мониторингу и контролю их результатов», – предупреждается в докладе.

Потеря контроля предполагает, что «по мере того, как продвинутый ИИ приближается к уровню человеческих и сверхчеловеческих способностей, подобному ОИИ, он может стать фактически неуправляемым». Неконтролируемая система ИИ может развивать поведение, направленное на достижение власти, например, предотвращение отключения себя, установление контроля над окружающей средой или обманное поведение с целью манипулирования людьми. Потеря контроля является результатом отсутствия согласованности между ИИ и намерениями человека. Согласование — это активная область исследований в передовых лабораториях искусственного интеллекта.

«Несогласованная система AGI является источником катастрофического риска просто потому, что она является высококвалифицированным оптимизатором», — говорится в отчете. «Его компетентность позволяет ему обнаруживать и реализовывать опасные творческие стратегии для достижения своих внутренних целей, а наиболее эффективные стратегии для достижения большинства типов целей, вероятно, связаны с поведением, направленным на поиск власти».

Линии усилий

В плане действий содержится несколько политических предложений, которые он классифицирует по «направлениям усилий» (LOE), направленным на устранение катастрофических рисков национальной безопасности, связанных с вооружением ИИ и потерей контроля, не препятствуя при этом преимуществам эффективного использования ИИ.

«На высоком уровне план действий вращается вокруг трех вещей», — сказал Эд Харрис VentureBeat. «1) Стабилизировать текущую ситуацию в отношении рисков национальной безопасности, связанных с исследованиями и разработками в области ИИ. 2) Укрепить наши возможности в области безопасности и защиты ИИ. И 3) создать законодательные и международные рамки, которые нам понадобятся для безопасного и надежного расширения этих систем, как только будут выполнены первые два условия».

Возможности искусственного интеллекта продолжают развиваться ускоряющимися темпами. Существующие системы искусственного интеллекта уже могут быть использованы в качестве оружия различными способами, как мы видели в последние месяцы на примере изображений, созданных искусственным интеллектом, и вызовов роботов. LOE1 направлен на создание временных мер безопасности для стабилизации передовых разработок ИИ. Этого можно достичь путем создания «обсерватории ИИ», которая будет служить правительственным центром США для оценки, анализа и обмена информацией угроз ИИ. В то же время правительство должно принять правила, устанавливающие гарантии для американских компаний, разрабатывающих системы искусственного интеллекта. И, наконец, США должны усилить свой контроль над цепочкой поставок ИИ, чтобы обеспечить безопасное использование облачных сервисов, моделей ИИ и оборудования ИИ по всему миру.

Целью LOE2 является подготовка США к реагированию на инциденты с искусственным интеллектом, когда они происходят. Меры включают создание межведомственных рабочих групп, создание образовательных и учебных программ в правительстве США для повышения готовности, а также разработку системы индикаций и предупреждений о продвинутых инцидентах ИИ и ОИИ. И, наконец, у правительства должен быть план действий на случай чрезвычайных ситуаций, чтобы отреагировать на известные и возникающие угрозы.

LOE3 поощряет поддержку исследований в области безопасности ИИ. В то время как пограничные лаборатории участвуют в гонке за создание более совершенных возможностей искусственного интеллекта, правительству следует финансировать исследования по согласованию и разрабатывать правила, чтобы гарантировать, что они по-прежнему привержены обеспечению безопасности своих систем.

LOE4 решает долгосрочные риски путем создания агентства по регулированию ИИ и системы юридической ответственности. «Эта правовая база должна тщательно сбалансировать необходимость смягчения потенциальных катастрофических угроз и риска сокращения инноваций, особенно если нормативное бремя налагается на малые предприятия», — говорится в плане действий.

А LOE5 описывает краткосрочные дипломатические действия и долгосрочные меры, которые правительство США могло бы предпринять для создания эффективного режима защиты ИИ в международном праве, одновременно обеспечивая безопасность цепочки поставок ИИ.

«Большая часть того, что мы делаем в предложении, — это определение фреймворков, которые, как мы ожидаем, будут хорошо стареть, поскольку они основаны на устойчивых тенденциях (таких как масштабирование и тенденции в алгоритмическом прогрессе), но оставляем некоторые детали этих фреймворков для определения. , в зависимости от состояния ИИ на момент их внедрения», — рассказал VentureBeat Джереми Харрис. «Сочетание надежных структур с гибкими компонентами — это ключевой подход, на который мы полагаемся во многих LOE».

Одна из проблем устранения рисков, связанных с ИИ, — найти правильный баланс между сохранением конфиденциальности моделей и снижением их весов.

«Возможность возиться с открытыми моделями определенно дает преимущества для безопасности», — сказал Эд. «Но по мере того, как модели становятся все более и более мощными, к сожалению, чаша весов склоняется в сторону рисков открытого доступа, которые перевешивают выгоды».

Например, модели с открытым доступом могут быть дешево настроены кем угодно для любого варианта использования, включая формы вооружения.

«Как только вы выпустите модель в открытый доступ, вы можете подумать, что она безопасна и надежна, но кто-то другой может настроить ее для использования в качестве оружия, и если это произойдет, вы не сможете забрать ее обратно — вы просто возьмете на себя ущерб», — сказал Эд. . «Это часть стабилизации — нам необходимо как можно раньше внедрить контроль здравого смысла и убедиться, что мы понимаем, насколько опасно кто-то может создать модель открытого доступа (никто не знает, как это сделать в настоящее время), чтобы мы могли продолжать масштабировать безопасно и надежно выпускать выпуски с открытым доступом».

Ранние признаки риска ИИ

До основания Gladstone Джереми и Эд основали несколько стартапов в области искусственного интеллекта, в том числе тот, который был поддержан Y Combinator.

Впервые у них возникли сомнения по поводу возникающих угроз ИИ, когда в 2019 году вышла GPT-2. С выпуском GPT-3 в 2020 году их опасения стали серьезнее.

«GPT-3 показал, что (1) масштабирование — это вещь; и (2) мы уже продвинулись довольно далеко по кривой масштабирования», — сказал Джереми. «По сути, это дало нам «наклон» и «пересечение оси Y», что очень ясно дало понять, что ситуация вот-вот станет дикой».

Они поговорили с исследователями из OpenAI, DeepMind и других ведущих лабораторий, чтобы проверить эту идею. Вскоре после этого они решили покинуть свою компанию, занимающуюся искусственным интеллектом, чтобы оценить риски.

«Следующие 12 месяцев мы провели, совмещая технические исследования в области безопасности и защиты ИИ с передовыми исследователями ИИ, а также информируя старших руководителей обороны и национальной безопасности в США, Канаде и Великобритании», — сказал Джереми.

За год до выхода ChatGPT они проводили учебные курсы для высокопоставленных чиновников национальной безопасности и обороны США по генеративному ИИ, моделям большого языка (LLM), а также рискам вооружения и потери контроля, которые могут возникнуть в результате будущего масштабирования ИИ.

В 2022 году Джереми, Эд и Марк Бил, бывший руководитель Министерства обороны, основали Gladstone из-за опасений по поводу рисков национальной безопасности ИИ.

«Одна из основных идей Гладстона заключалась в том, что разрыв между технологиями и политикой необходимо преодолевать гораздо быстрее, когда дело касается ИИ, чем в других областях, из-за ставок и темпов прогресса в этой области», — сказал Джереми. «Но также правительству США нужен источник технически обоснованных рекомендаций и анализа рисков ИИ, независимый от крупных технологических компаний или групп с идеологическими предубеждениями. Мы не увидели в этом пространстве никаких организаций, поэтому решили заполнить пустоту».

Различные точки зрения на безопасность ИИ

В ходе обсуждений с политиками Джереми и Эд заметили изменение взглядов на риски, связанные с ИИ. До появления ChatGPT политики последовательно относились к этой проблеме серьезно и понимали, что технические движущие силы прогресса ИИ ведут к возникновению потенциальных рисков, подобных ОМУ, но не знали, что с этим делать.

«В течение этого периода мы могли брать отчеты, которые мы получали от передовых исследователей безопасности ИИ, и передавать их практически любому политику, и они воспринимали бы их серьезно, при условии, что они были четко объяснены», — сказал Джереми.

После ChatGPT ситуация стала более поляризованной.

«Эта поляризация может привести к ложной дихотомии. Вместо того, чтобы спрашивать: «Какой самый быстрый способ создать безопасные системы искусственного интеллекта, чтобы сбалансировать выгоды и риски?», крупные технологические компании инвестируют миллиарды долларов в лоббирование мягкого регулирования, а другие выступают за нереальную полную остановку прогресса ИИ», — сказал Джереми. . «Это определенно затруднило отстаивание реалистичных предложений, которые серьезно относятся к рискам. В некотором смысле, в этом нет ничего нового: мы видели, как подобные проблемы возникают с социальными сетями, и это тот случай, когда нам нужно сразу же решить проблему».

Следующим большим шагом команды станет ускорение работы по информированию политиков с упором на действия Конгресса и исполнительной власти, соответствующие плану действий.

«Мы продолжим сотрудничать с исследователями из пограничных лабораторий, организациями по безопасности искусственного интеллекта и экспертами по национальной безопасности для уточнения наших рекомендаций и можем публиковать обновления наших рекомендаций по мере возникновения необходимости», — сказал Джереми.