Deci анонсирует новую платформу для разработки искусственного интеллекта и небольшую модель Deci Nano

В период относительного затишья со стороны OpenAI конкурент Anthropic попал в заголовки газет, выпустив новое семейство больших языковых моделей (LLM) Claude 3. Но есть еще один поставщик базовых моделей, за которым стоит следить, и который на этой неделе опубликовал несколько важных новостей о генеративном искусственном интеллекте: Deci.

В последний раз VentureBeat освещал израильский стартап осенью 2023 года, когда он выпустил модели с открытым исходным кодом DeciDiffusion и DeciLM 6B, которые представляют собой доработанные варианты Stable Diffusion 1.5 от Stability и LLaMA 2 7B от Meta (обе также с открытым исходным кодом), разработанные так, чтобы работать быстрее и требовать меньше затрат. вычислительные ресурсы, чем их исходные исходные модели. С тех пор Deci выпустила DeciCoder, LLM для завершения кода, и DeciDiffusion 2.0.

Теперь компания выпускает новую, еще меньшую и менее требовательную к вычислениям LLM, Deci-Nano, с закрытым исходным кодом, а также полноценную платформу разработки искусственного интеллекта поколения для предприятий и программистов, еще один платный продукт. Deci-Nano на данный момент доступен исключительно как часть платформы разработки искусственного интеллекта Deci Gen.

Отход от открытого исходного кода?

Похоже, что компания движется к более полностью коммерческой или смешанной модели с открытым и закрытым исходным кодом, подобно тому, что мы видели у Mistral в своем спорном партнерстве с Microsoft.

Означает ли переход Deci и Mistral к моделям искусственного интеллекта с закрытым исходным кодом угасающий энтузиазм в отношении искусственного интеллекта с открытым исходным кодом? Ведь каждой частной компании нужно как-то зарабатывать деньги…

Вице-президент по маркетингу Деси Рэйчел Салкин рассказала VentureBeat по электронной почте, что:

«Мы по-прежнему привержены поддержке сообщества открытого исходного кода. В то же время мы также осознаем ценность создания более оптимизированных (как по точности, так и по скорости) моделей с закрытым исходным кодом, которые позволяют нам еще больше расширить границы и принести больше пользы нашим клиентам.«

Салкин также отметил, что:

«За последние месяцы Deci выпустила несколько моделей с открытым исходным кодом, включая DeciLM-6B, DeciLM-7B, DeciLM-7B Instruct, DeciCoder 1B, DeciCoder 6B, DeciDiffsion V1&V2...Модели по-прежнему доступны для загрузки через Hugging Face, и их ежемесячно загружают десятки тысяч раз.», хотя их демонстрационные площадки были приостановлены.

Производительность по (низкой) цене…

Если Deci действительно движется в более коммерческом направлении, как кажется, то компания, похоже, облегчает переход пользователей и клиентов на этот этап своего существования.

Deci-Nano обеспечивает понимание языка и рассуждение со сверхбыстрой скоростью вывода, генерируя 256 токенов всего за 4,56 секунды на графических процессорах NVIDIA A100.

Компания разместила в своем блоге диаграммы, объявляющие, что Deci-Nano превосходит модели Mistral 7B-Instruct и Google Gemma 7B-it.

Кроме того, Deci-Nano имеет очень агрессивную цену — 0,1 доллара за 1 миллион (входных) токенов по сравнению с 0,50 доллара за OpenAI GPT-3.5 Turbo и 0,25 доллара за новый Claude 3 Haiku.

«Deci-Nano воплощает наш производственно-ориентированный подход, который включает в себя приверженность не только качеству, но также эффективности и рентабельности», — сказал Йонатан Гейфман, соучредитель и генеральный директор Deci, в сообщении на своей странице LinkedIn. «Мы создаем архитектуры и программные решения, которые выжимают максимальную вычислительную мощность из существующих графических процессоров».

Но исходный код остается закрытым. И Деси публично не поделился количеством параметров. Салкин рассказал VentureBeat:

«Мы не раскрываем размер модели. Однако, учитывая его возможности, его имеет смысл сравнивать с такими моделями, как Mistral-7b-instruct-v0.2 и Google Gemma-7b-instruct. Deci-Nano — это контекстное окно 8K, которое было разработано с нуля командой Deci с использованием нашей технологии AutoNAC (на основе поиска нейронной архитектуры)».

AutoNAC — это технология, разработанная Deci, которая направлена ​​на уменьшение размера модели путем анализа существующей модели искусственного интеллекта и построения серии небольших моделей, «общая функциональность которых близко соответствует» исходной модели, согласно техническому документу Deci по этой технологии.

От финансового и юридического анализа до копирайтинга и чат-ботов, доступность и превосходные возможности Deci-Nano открывают новые возможности для предприятий, стремящихся к инновациям без бремени чрезмерных затрат.

Deci предлагает клиентам ряд вариантов его развертывания: либо на бессерверных экземплярах для простоты и масштабируемости, либо на выделенных экземплярах для более точной настройки и повышения конфиденциальности. Компания заявляет, что такая гибкость гарантирует, что предприятия смогут масштабировать свои решения искусственного интеллекта по мере развития их потребностей, плавно переходя между вариантами развертывания без ущерба для производительности и безопасности.

Рождение новой платформы

Хотя большая часть заявлений Deci на этой неделе была посвящена Deci-Nano, более важной новостью (без каламбура) может стать решение компании предложить полноценную платформу генеративного искусственного интеллекта, которую она описывает в пресс-релизе как «комплексное решение, разработанное для удовлетворения потребности предприятий в эффективности и конфиденциальности».

Что именно получают пользователи платформы? «Новая серия запатентованных, тонко настраиваемых моделей большого языка (LLM), механизма вывода и решения для управления кластером вывода AI», — сказал Деси.

Первой запатентованной моделью, предлагаемой через платформу, является, конечно же, Deci-Nano. Но очевидно, что Деци планирует предлагать и другие, основываясь на формулировках этих маркетинговых материалов, и этот факт подтвердил Салкин, написавший нам:

«Deci-Nano — первая оптимизированная модель с закрытым исходным кодом в серии новых моделей (некоторые открытые и некоторые закрытые), которые будут выпущены в ближайшие месяцы.«

Механизм вывода позволяет пользователям развертывать Deci-Nano в соответствии со своими спецификациями, либо подключаясь к API и серверам Deci, запуская Deci-Nano в виртуальном частном облаке клиента, либо развертывая его локально на сервере клиента.

Клиентам, желающим самостоятельно управлять Deci-Nano в виртуальном частном облаке (VPC), Deci просто предоставит им собственную контейнерную модель. Компания также осуществляет управляемое вмешательство от имени клиента в кластере Kubernetes клиента.

Наконец, платформа Genartive AI от Deci предлагает полное решение для локального развертывания для клиентов, которым нужны технологии в их центре обработки данных, а не в облаке. Deci предоставит этим клиентам виртуальный контейнер, в котором будет размещена как модель Deci-Nano, так и комплект разработки программного обеспечения Deci Infery, чтобы клиент мог встроить модель в приложения и опыт для клиентов, сотрудников или других конечных пользователей.

Цены на платформу Deci Generative AI и различные предложения по ее установке не публикуются, но мы обновим их, как только получим эту информацию.