Последствия золотой лихорадки генеративного ИИ

Крупные технологические компании и венчурные капиталисты переживают золотую лихорадку, инвестируя астрономические суммы в ведущие лаборатории искусственного интеллекта, создающие генеративные модели. На прошлой неделе Amazon объявила об инвестициях в 4 миллиарда долларов в лабораторию искусственного интеллекта Anthropic. Ранее в этом году Microsoft инвестировала ошеломляющие 10 миллиардов долларов в OpenAI, которая, как сообщается, сейчас ведет переговоры с инвесторами о продаже акций при оценке в 80-90 миллиардов долларов.

Большие языковые модели (LLM) и генеративный искусственный интеллект стали горячими областями конкуренции, побуждая технологических гигантов укреплять свой кадровый резерв и получать доступ к передовым моделям посредством партнерства с лабораториями искусственного интеллекта. Эти партнерства и инвестиции приносят взаимную выгоду как лабораториям искусственного интеллекта, так и технологическим компаниям, которые в них инвестируют. Однако у них есть и другие, менее пикантные последствия для будущего исследований ИИ, которые стоит изучить.

Ускоренные исследования и интеграция продуктов

Для обучения и работы LLM требуются значительные вычислительные ресурсы, ресурсы, к которым большинство лабораторий искусственного интеллекта не имеют доступа. Партнерство с крупными технологическими компаниями обеспечивает эти лаборатории облачными серверами и графическими процессорами, необходимыми для обучения своих моделей.

OpenAI, например, использует облачную инфраструктуру Microsoft Azure для обучения и обслуживания своих моделей, включая ChatGPT, GPT-4 и DALL-E. Теперь Anthropic получит доступ к Amazon Web Services (AWS) и специальным чипам Trainium и Inferentia для обучения и обслуживания своих моделей искусственного интеллекта.

Впечатляющие успехи в области LLM в последние годы во многом обязаны инвестициям крупных технологических компаний в лаборатории искусственного интеллекта. В свою очередь, эти технологические компании могут интегрировать новейшие модели в свои продукты в больших масштабах, предоставляя пользователям новые возможности. Они также могут предоставить разработчикам инструменты, позволяющие использовать новейшие модели искусственного интеллекта в своих продуктах без технических затрат на создание больших вычислительных кластеров.

Этот цикл обратной связи поможет лабораториям и компаниям справиться с проблемами этих моделей и решить их более быстрыми темпами.

Меньше прозрачности и больше секретности

Однако, поскольку лаборатории ИИ оказываются втянутыми в конкуренцию между крупными технологическими компаниями за большую долю рынка генеративного ИИ, они могут стать менее склонными делиться знаниями.

Раньше лаборатории искусственного интеллекта сотрудничали и публиковали свои исследования. Теперь у них есть стимулы хранить свои открытия в секрете, чтобы сохранить свое конкурентное преимущество.

Этот сдвиг очевиден в переходе от выпуска полных документов с архитектурой моделей, весами, данными, кодом и рецептами обучения к выпуску технических отчетов, которые предоставляют мало информации о моделях. Модели больше не имеют открытого исходного кода, а вместо этого выпускаются через конечные точки API. О данных, используемых для обучения моделей, известно очень мало.

Прямым следствием меньшей прозрачности и большей секретности является замедление темпов исследований. Учреждения могут в конечном итоге тайно работать над аналогичными проектами, не опираясь на достижения друг друга, т. е. без необходимости дублируя работу.

Снижение прозрачности также затрудняет независимым исследователям и учреждениям проверку моделей на предмет надежности и вредоносности, поскольку они могут взаимодействовать с моделями только через API-интерфейсы «черного ящика».

Меньше разнообразия в исследованиях ИИ

Поскольку лаборатории искусственного интеллекта становятся зависимыми от интересов инвесторов и крупных технологических компаний, у них может возникнуть стимул уделять больше внимания исследованиям с прямым коммерческим применением. Этот фокус может быть достигнут за счет других областей исследований, которые, возможно, не принесут коммерческих результатов в краткосрочной перспективе, но могут обеспечить долгосрочные прорывы для компьютерной науки, промышленности и человечества.

Коммерциализация исследований ИИ очевидна в новостях об исследовательских лабораториях, которые все больше внимания уделяют их оценке и получению доходов. Это далеко от их первоначальной миссии — расширять границы науки таким образом, чтобы служить человечеству и снижать риски и вред от ИИ.

Достижение этой цели требует исследований в самых разных областях, некоторые из которых могут занять годы или даже десятилетия усилий. Например, глубокое обучение стало мейнстримом в начале 2010-х годов, но стало кульминацией десятилетий усилий нескольких поколений исследователей, которые упорствовали в идее, которая до недавнего времени по большей части игнорировалась инвесторами и коммерческим сектором.

Текущая ситуация рискует затмить другие области исследований, которые могут дать многообещающие результаты в долгосрочной перспективе. Крупные технологические компании также с большей вероятностью будут финансировать исследования в области методов искусственного интеллекта, которые опираются на огромные наборы данных и вычислительные ресурсы, что даст им явное преимущество перед более мелкими игроками.

Утечка мозгов в сторону больших технологий

Растущий интерес к коммерческому ИИ подтолкнет крупные технологические компании к использованию своего богатства для привлечения ограниченного резерва талантов в области ИИ в свои организации. Крупные технологические компании и лаборатории искусственного интеллекта, которые они финансируют, могут предложить звездные зарплаты ведущим исследователям искусственного интеллекта — роскошь, которую некоммерческие лаборатории искусственного интеллекта и академические учреждения не могут себе позволить.

Хотя не каждый исследователь заинтересован в сотрудничестве с коммерческими организациями, многие будут привлечены к этим организациям, что снова будет происходить за счет исследований ИИ, которые имеют научную ценность, но мало используют в коммерческих целях. Это также приведет к централизации власти в пределах нескольких очень богатых компаний и затруднит конкуренцию стартапам за таланты в области ИИ.

Серебряные накладки

Поскольку гонка вооружений в области ИИ между крупными технологическими компаниями меняет ландшафт исследований в области ИИ, не все так мрачно. Сообщество открытого исходного кода добилось впечатляющего прогресса параллельно с сервисами искусственного интеллекта с закрытым исходным кодом. В настоящее время существует полный спектр языковых моделей с открытым исходным кодом, которые бывают разных размеров и могут работать на специальном оборудовании: от графических процессоров, размещенных в облаке, до ноутбуков.

Такие методы, как точная настройка с эффективным использованием параметров (PEFT), позволяют организациям настраивать LLM на основе своих собственных данных с очень небольшими бюджетами и наборами данных. Существуют также многообещающие исследования ученых Массачусетского технологического института в областях, отличных от языковых моделей, таких как жидкие нейронные сети, которые обеспечивают многообещающие решения некоторых фундаментальных проблем глубокого обучения, включая отсутствие интерпретируемости и необходимость в огромных наборах обучающих данных. В то же время сообщество нейросимволического ИИ продолжает работать над новыми методами, которые могут дать многообещающие результаты в будущем.

Будет интересно посмотреть, как исследовательское сообщество адаптируется к изменениям, вызванным ускоряющейся золотой лихорадкой генеративного ИИ в больших технологиях.