[ad_1]
Хорошо, предположим, что вы один из руководителей компании или лиц, принимающих решения в сфере ИТ, который достаточно наслушался обо всех этих вещах, связанных с генеративным искусственным интеллектом, и вы, наконец, готовы сделать решительный шаг и предложить своим сотрудникам чат-бота с большой языковой моделью (LLM). или клиенты. Проблема в том, как на самом деле его запустить и сколько вам придется заплатить за его запуск?
DeepInfra, новая компания, основанная бывшими инженерами IMO Messenger, хочет лаконично ответить на эти вопросы бизнес-лидерам: они запускают модели на своих частных серверах от имени своих клиентов и взимают агрессивно низкие тарифы. $1 за 1 миллион токенов в/из по сравнению с $10 за 1 миллион токенов для OpenAI GPT-4 Turbo или $11,02 за 1 миллион токенов для Anthropic Claude 2.
Сегодня DeepInfra вышла из скрытности эксклюзивно для VentureBeat, объявив, что привлекла начальный раунд в размере 8 миллионов долларов под руководством A.Capital и Felicis. Компания планирует предложить клиентам ряд моделей с открытым исходным кодом, включая Llama 2 и CodeLlama от Meta, а также варианты и доработанные версии этих и других моделей с открытым исходным кодом.
«Мы хотели предоставить процессоры и недорогой способ развертывания обученных моделей машинного обучения», — сказал Никола Борисов, основатель и генеральный директор DeepInfra, в интервью по видеоконференции VentureBeat. «Мы уже видели, как много людей работают над обучением, и мы хотели обеспечить ценность выводов».
Ценное предложение DeepInfra
Несмотря на то, что было написано много статей об огромных ресурсах графических процессоров, необходимых для обучения машинному обучению и моделям больших языков (LLM), которые сейчас популярны среди предприятий, а опережающий спрос приводит к нехватке графических процессоров, меньше внимания уделяется тому факту, что в дальнейшем этим моделям также необходимы значительные вычислительные мощности, чтобы они действительно работали надежно и были полезны конечным пользователям, что также известно как логический вывод.
По словам Борисова, «проблема при обслуживании модели заключается в том, как одновременно разместить количество одновременных пользователей на одном и том же оборудовании и модели… Способ, которым большие языковые модели производят токены, заключается в том, что они должны делать это с помощью одного токена. одновременно, и каждый токен требует большого количества вычислений и пропускной способности памяти. Поэтому задача состоит в том, чтобы собрать людей на одних и тех же серверах».
Другими словами: если вы планируете, что в вашем LLM или приложении на базе LLM будет более одного пользователя, вам нужно будет подумать — или кто-то должен будет подумать — как оптимизировать это использование и повысить эффективность работы пользователей. запрашивать одни и те же токены, чтобы избежать заполнения драгоценного пространства вашего сервера избыточными вычислительными операциями.
Чтобы справиться с этой проблемой, Борисов и его соучредители, работавшие в IMO Messenger с 200 миллионами пользователей, полагались на свой предыдущий опыт «управления большими парками серверов в центрах обработки данных по всему миру с правильным подключением».
Поддержка лучших инвесторов
По словам Айдина Сенкута, легендарного серийного предпринимателя, а также основателя и управляющего партнера Felicis, которые присоединились к призыву VentureBeat объяснить, почему его фирма поддержала DeepInfra, трое соучредителей являются эквивалентом «обладателей международных олимпийских золотых медалей по программированию». «У них на самом деле сумасшедший опыт. Я думаю, что, если не считать команду WhatsApp, они, возможно, являются первыми или вторыми в мире, способными построить эффективную инфраструктуру для обслуживания сотен миллионов людей».
Именно эта эффективность в построении серверной инфраструктуры и вычислительных ресурсов позволяет DeepInfra поддерживать столь низкие затраты, и именно это привлекло Senkut при рассмотрении вопроса об инвестициях.
Когда дело доходит до ИИ и LLM, «варианты использования бесконечны, но стоимость является важным фактором», — заметил Сенкут. «Все восхваляют потенциал, но все жалуются на стоимость. Поэтому, если компания сможет получить десятикратное преимущество в затратах, это может стать огромным разрушителем рынка».
Это касается не только DeepInfra, но и клиентов, которые полагаются на нее и стремятся использовать технологии LLM по доступным ценам в своих приложениях и опыте.
Нацеливание на малый и средний бизнес с помощью предложений искусственного интеллекта с открытым исходным кодом
На данный момент DeepInfra планирует ориентировать свои предложения хостинга на малый и средний бизнес (SMB), поскольку эти компании, как правило, наиболее чувствительны к затратам.
«Наши первоначальные целевые клиенты — это, по сути, люди, которые хотят просто получить доступ к крупным языковым моделям с открытым исходным кодом и другим современным моделям машинного обучения», — сказал Борисов VentureBeat.
В результате DeepInfra планирует внимательно следить за сообществом искусственного интеллекта с открытым исходным кодом и за прогрессом, происходящим там по мере выпуска и настройки новых моделей для достижения все большей и более специализированной производительности для различных классов задач, от генерации текста и обобщения до приложения компьютерного зрения для кодирования.
«Мы твердо верим, что будет широкое развертывание и разнообразие, и в целом открытый исходный код будет процветать», — сказал Борисов. «Как только будет опубликована большая хорошая языковая модель, такая как Llama, появится масса людей, которые смогут создавать свои собственные варианты без необходимости слишком большого количества вычислений… это своего рода эффект маховика, когда все больше и больше усилий вкладывается в та же экосистема».
Это мнение согласуется с собственным анализом VentureBeat о том, что у сообщества LLM с открытым исходным кодом и генеративного искусственного интеллекта был знаменательный год, и, вероятно, он затмит использование OpenAI GPT-4 и других закрытых моделей, поскольку затраты на их использование намного ниже, и их меньше. барьеры, встроенные в процесс их точной настройки для конкретных случаев использования.
«Мы постоянно пытаемся внедрить новые модели, которые только выходят», — сказал Борисов. «Общим является то, что люди ищут более длинную контекстную модель… за ней определенно будущее».
Борисов также считает, что служба хостинга логических выводов DeepInfra завоюет поклонников среди предприятий, обеспокоенных конфиденциальностью и безопасностью данных. «На самом деле мы не храним и не используем какие-либо подсказки, которые вставляют люди», — отметил он, поскольку они сразу же отбрасываются, как только окно чата с моделью закрывается.
[ad_2]
Источник
