[ad_1]
Все говорят об ошеломляющих результатах прибыли Nvidia — на целых 265% больше, чем год назад. Но не стоит зацикливаться на Groq, компании из Кремниевой долины, создающей новые микросхемы искусственного интеллекта для вывода моделей большого языка (LLM) (принятие решений или прогнозов на основе существующих моделей, а не на обучение). В минувшие выходные Грок внезапно наслаждался вирусным моментом, о котором большинство стартапов только мечтают.
Конечно, это не было таким большим резонансом в социальных сетях, как даже один сообщений Илона Маска о совершенно не связанной с ним большой языковой модели Grok. Но я уверен, что ребята из Nvidia обратили на это внимание после того, как Мэтт Шумер, генеральный директор HyperWrite, опубликовано на X о «дикой технологии» Грока, которая «обслуживает Mixtral со скоростью почти 500 ток/с» с ответами, которые «практически мгновенные».
Шумер продолжил X, написав публичная демо-версия «молниеносной системы ответов», показывающей «фактические, цитируемые ответы с сотнями слов менее чем за секунду» — и внезапно показалось, что все в ИИ говорили и пробовали чат-приложение Groq на своем веб-сайте, где пользователи могут выбирайте продукцию, предоставляемую LLM Llama и Mistral.
Все это было в дополнение к интервью CNN, которое состоялось более недели назад, где генеральный директор и основатель Groq Джонатан Росс продемонстрировал Groq, использующий интерфейс аудиочата, который «бьет рекорды скорости».
Хотя сейчас ни одна компания не может бросить вызов доминированию Nvidia — Nvidia занимает более 80% рынка высокопроизводительных чипов; другие стартапы по производству чипов искусственного интеллекта, такие как SambaNova и Cerebras, еще не добились большого прогресса, даже в области вывода ИИ; Nvidia только что сообщила о выручке в 4-м квартале в размере 22 миллиардов долларов. Генеральный директор и основатель Groq Джонатан Росс рассказал мне в интервью, что невероятные затраты на выводы делают предложение его стартапа «сверхбыстрым» и более дешевым вариантом специально для использования в LLM.
В смелом заявлении Росс сказал мне, что «к концу года мы, вероятно, станем той инфраструктурой, которую будет использовать большинство стартапов», добавив, что «мы очень благосклонно относимся к стартапам — свяжитесь с нами, и мы позаботимся о том, чтобы вы не платите столько, сколько платили бы в другом месте».
Groq LPU против графических процессоров Nvidia
На веб-сайте Groq его LPU, или «языковые процессоры», описываются как «новый тип системы сквозных процессоров, который обеспечивает самый быстрый вывод для приложений с интенсивными вычислениями и последовательным компонентом, таких как приложения на языке искусственного интеллекта (LLM). )».
Напротив, графические процессоры Nvidia оптимизированы для параллельной обработки графики, а не для LLM. Поскольку LPU Groq специально разработаны для обработки последовательностей данных, таких как код и естественный язык, они могут обеспечивать вывод LLM быстрее, чем графические процессоры, минуя две области, с которыми у графических процессоров или процессоров возникают проблемы: плотность вычислений и пропускную способность памяти.
Кроме того, что касается интерфейса чата, Росс утверждает, что Groq также отличается от таких компаний, как OpenAI, потому что Groq не обучает модели и, следовательно, не требует регистрации каких-либо данных и может сохранять конфиденциальность запросов чата.
Учитывая, что ChatGPT, по оценкам, будет работать более чем в 13 раз быстрее, если бы он был оснащен чипами Groq, мог бы OpenAI стать потенциальным партнером Groq? Росс не стал говорить конкретно, но демо-версия интерфейса аудиочата Groq показала мне, что «они могли бы сотрудничать, если есть взаимная выгода». Open AI может быть заинтересован в использовании уникальных возможностей LPU для своих проектов обработки языка. Это может быть захватывающее партнерство, если они преследуют схожие цели».
Действительно ли LPU Грока меняют правила игры при помощи искусственного интеллекта?
Я должен был поговорить с Россом несколько месяцев назад, с тех пор как в середине декабря со мной связался представитель компании по связям с общественностью, назвав Грока «американским производителем чипов, готовым выиграть гонку ИИ». Мне было любопытно, но у меня не было времени ответить на звонок.
Но теперь я определенно нашел время: я хотел знать, является ли Groq последним участником быстро развивающегося цикла шумихи вокруг искусственного интеллекта «пиар-внимание — это все, что вам нужно»? Действительно ли LPU Грока меняют правила игры при помощи искусственного интеллекта? И какой была жизнь Росса и его небольшой команды из 200 человек (они называют себя «Groqsters») на прошлой неделе после определенного момента славы в области технологического оборудования?
Посты Шумера были «спичкой, которая зажгла предохранитель», сказал мне Росс во время видеозвонка из парижского отеля, где он только что пообедал с командой Mistral — французского стартапа LLM с открытым исходным кодом, который уже успел воспользоваться несколькими собственными вирусными сообщениями. моменты за последние пару месяцев.
По его оценкам, более 3000 человек обратились к Groq с просьбой о доступе к API в течение 24 часов после публикации Шумера, но посмеялись, добавив, что «мы не выставляем им счета, потому что у нас не настроена система выставления счетов. На данный момент мы просто позволяем людям использовать его бесплатно».
Но Росс вряд ли является зеленым, когда дело доходит до тонкостей управления стартапом в Кремниевой долине — он бьет в барабан о потенциале технологии Groq с момента ее основания в 2016 году. Быстрый поиск в Google обнаружил историю Forbes за 2021 год. в котором подробно описан раунд сбора средств Groq на сумму 300 миллионов долларов, а также предыстория Росса, когда он помог изобрести тензорный процессор Google, или TPU, а затем покинул Google, чтобы запустить Groq в 2016 году.
В Groq, Росс и его команда мы создали то, что он называет «очень необычным чипом, потому что, если вы строите машину, вы можете начать с двигателя, а можете начать с опыта вождения. И мы начали с опыта вождения — первые шесть месяцев мы потратили на работу над компилятором, прежде чем спроектировать чип».
Удовлетворение потребности в доступе к графическим процессорам Nvidia стало большим бизнесом
Как я сообщал на прошлой неделе, удовлетворение широко распространенного голода по доступу к графическим процессорам Nvidia, о котором прошлым летом говорилось в Силиконовой долине, стало крупным бизнесом во всей индустрии искусственного интеллекта.
Он создал новых облачных единорогов графических процессоров (Lamda, Together AI и Coreweave), а бывший генеральный директор GitHub Нат Фридман вчера объявил, что его команда даже создала Craigslist для кластеров графических процессоров. И, конечно же, газета Wall Street Journal опубликовала сообщение о том, что генеральный директор OpenAI Сэм Альтман хочет справиться со спросом, изменив мир чипов искусственного интеллекта — с помощью проекта, который может стоить триллионы долларов и иметь сложный геополитический фон.
Росс утверждает, что часть того, что происходит сейчас в сфере графических процессоров, на самом деле является реакцией на действия Грока. «Это своего рода благотворный цикл», — сказал он. Например: «Nvidia обнаружила, что суверенные государства — это целое дело, которое они делают, и я нахожусь в пятинедельном туре, пытаясь заключить здесь некоторые сделки со странами… вы этого не видите, когда смотрите Мы снаружи, но за нами следят многие существа».
Он также смело выступил против попыток Альтмана собрать до 7 триллионов долларов для масштабного проекта по созданию чипов искусственного интеллекта. «Все, что я скажу, это то, что мы могли бы сделать это за 700 миллиардов», — сказал он. «Мы выгодная сделка».
Он добавил, что Groq также внесет свой вклад в поставку чипов искусственного интеллекта большой мощности.
«К концу этого года у нас определенно будет мощность 25 миллионов токенов в секунду, и именно на этом уровне, по нашим оценкам, находился OpenAI в конце 2023 года», — сказал он. «Однако мы работаем со странами над развертыванием оборудования, которое увеличит это число. Как ОАЭ, как и многие другие. Я в Европе не просто так — есть самые разные страны, которые будут в этом заинтересованы».
Но тем временем Groq также приходится решать повседневные текущие проблемы — например, заставить людей платить за API после вирусного момента компании на прошлой неделе. Когда я спросил Росса, планирует ли он выяснить, как Groq выставляет счета за API, Росс ответил: «Мы разберемся с этим». Его представитель по связям с общественностью, также присутствовавший на разговоре, быстро вмешался: «Да, это будет один из первых заказов, Джонатан».
[ad_2]
Источник
