[ad_1]
Присоединяйтесь к нам в Атланте 10 апреля и изучите ситуацию в сфере безопасности. Мы рассмотрим концепцию, преимущества и варианты использования ИИ для служб безопасности. Запросите приглашение здесь.
Компания OctoAI из Сиэтла предлагает новое предложение под названием OctoStack, призванное помочь предприятиям развертывать частные генеративные модели искусственного интеллекта. Компании могут использовать эту «производственную платформу под ключ» в виртуальном частном облаке или локально и получат доступ к высокооптимизированным выводам, настройке моделей и управлению активами. При этом OctoAI хочет дать компаниям свободу создавать и запускать приложения искусственного интеллекта так, как они считают нужным.
«Для того, чтобы клиенты могли создавать жизнеспособные и перспективные приложения генеративного искусственного интеллекта, требуется нечто большее, чем просто доступный облачный вывод», — заявил в своем заявлении Луис Сезе, исполнительный директор OctoAI. «Переносимость оборудования, адаптация режимов, тонкая настройка, оптимизация, балансировка нагрузки — это комплексные проблемы, требующие комплексных решений».
OctoStack поддерживает тонкую настройку и развертывание ряда моделей искусственного интеллекта с открытым исходным кодом и коммерческих моделей искусственного интеллекта, таких как семейство Llama от Meta, модели 8x8B от Mistral и модели Stable Diffusion. Однако в него не входит Клод из Anthropic, поскольку ИИ предлагается только в облаке через Anthropic. «Но мы предлагаем множество суперспособных моделей с открытым исходным кодом, которыми вы можете полностью управлять и настраивать», — сказал Сезе.
От полностью управляемого к «сделай сам»
Это не первая попытка стартапа предоставить компаниям комплексное предложение ИИ. В прошлом году OctoAI выпустила сервис самооптимизации инфраструктуры. Как объясняет Сезе, разница в том, что представленная тогда функция теперь является полностью управляемым решением. «Это означает, что вы вызываете наши API, предлагает высокоэффективный вывод, и у нас есть поддержка настройки модели», — сказал он VentureBeat. «У нас есть поддержка в создании модельных коктейлей и так далее, и все это с учетом интересов предприятия и производства».
Напротив, OctoStack от OctoAI является самоуправляемым предложением. Сезе сказал, что как только клиенты компании начали «обрабатывать много миллиардов токенов в день» и на платформе ежедневно создавались «миллионы изображений», стало ясно, что существует необходимость «в большем количестве частных развертываний нашей технологии». Это сравнимо с тем, что ваш блог размещается на WordPress.com, а не на вашем собственном частном сервере — аналогия, которую Сезе не оспаривал.
«Поскольку предприятия начинают серьезно относиться к развертыванию ИИ, они нервничают по поводу отправки данных через API, находящийся вне их контроля», — поясняет Сезе. «Что мы делаем с OctoStack, так это то, что они могут выбирать свою модель, настраивать свои модели и предлагать это как полностью частный API. И мы обеспечиваем для этого всю инфраструктуру. Это означает, что мы заботимся о том, чтобы модель стала надежной и эффективной на всех графических процессорах».
Сотни клиентов в настоящее время используют полностью управляемое решение OctoAI, но Ceze отказался сообщить, сколько из них подписалось на OctoStack. Вместо этого он посоветовал мне обратиться к тем, кто указан в пресс-релизе компании — Apate.ai, Otherside AI, Lattitude Games и CapitalAI. Однако мне сказали, что целью являются компании, которые уже экспериментируют с инструментами искусственного интеллекта поколения и теперь стремятся внедрить эти модели в производственную среду.
Широкий открытый рынок корпоративного ИИ
Существует огромная возможность для внедрения генеративного ИИ на предприятии. В отчете Menlo Ventures подчеркивается, что в прошлом году на облачное программное обеспечение в этой сфере было потрачено 400 миллиардов долларов. Семьдесят миллиардов из этих инвестиций пошли на искусственный интеллект (18 процентов). Поколение искусственного интеллекта составило 2,5 миллиарда долларов, менее 1 процента.
«В настоящее время использование и доступность генеративного ИИ на предприятии технически высоки: более половины ИТ-директоров планируют официально внедрить генеративный ИИ, а популярность таких сервисов и моделей, как Microsoft Copilot, ChatGPT, Midjourney и многих других», — Амальгама Со мной поделился генеральный директор и аналитик Insights Хён Пак. «Но возможности, связанные с кастомизацией, тонкой настройкой и расширением моделей, все еще низки…»
Основатель и главный аналитик Constellation Research Рэй Ванг рассказывает, что сейчас «большинство организаций пытаются оптимизироваться для мира с участием нескольких поставщиков, поэтому не существует никаких стеков искусственного интеллекта чистого поколения. Преобладающим подходом является использование собственных фреймворков, моделей и данных для приложений». Он описывает OctoStack как хорошую вещь, потому что «легче хранить стек в одном месте».
OctoAI, возможно, не придется долго почивать на лаврах. Компания сталкивается с жесткой конкуренцией не только со стороны своих коллег-стартапов, но и со стороны крупных компаний, включая Nvidia, Databricks и Sambanova Systems. Сезе говорит, что его это не беспокоит: «Я почти уверен, что это горячая сфера, и мы должны ожидать, что другие, у кого будут предложения, конкурирующие с этим, и то, как мы продолжаем дифференцироваться, снова использует наш уникальный опыт в области перекрестных технологий. оптимизации. Это ДНК нашей компании. Вот как мы начали».
[ad_2]
Источник
