Илон Маск анонсирует Grok-1.5, приближающийся по производительности к уровню GPT-4

Всего через несколько недель после открытия исходного кода Grok-1 компания xAI Илона Маска анонсировала обновленную версию своей собственной модели большого языка (LLM) — Grok-1.5.

Grok-1.5, который выйдет на следующей неделе, обладает расширенными возможностями рассуждения и решения проблем и приближается к производительности известных открытых и закрытых LLM, включая GPT-4 OpenAI и Claude 3 от Anthropic. Он также способен обрабатывать длинные контексты, но остается за контекстным окном Gemini 1.5 Pro до 1 миллиона токенов.

Маск отметил, что Grok-1.5 станет основой чат-бота xAI ChatGPT на платформе X, в то время как Grok-2, преемник новой модели, все еще находится на этапе обучения. Он сказал, что следующая версия должна «превзойти нынешний ИИ по всем показателям», но не уточнил, когда она может стать доступной.

Что принесет с собой «Грок-1.5»?

xAI анонсировала Grok-1 в ноябре прошлого года, заявив, что ИИ был создан по образцу «Автостопом по галактике» и может ответить практически на все, чтобы помочь человечеству в его поисках понимания и знаний – независимо от происхождения или политических взглядов. В таких тестах, как GSM8K, HumanEval и MMLU, совместно используемых xAI, Grok-1 превзошел Llama-2-70B и GPT-3.5.

Теперь, с выпуском Grok-1.5, компания продолжает эту работу, обеспечивая значительные улучшения по сравнению с предыдущей моделью во всех основных тестах, включая те, которые связаны с программированием и математическими задачами.

«В наших тестах Grok-1.5 набрал 50,6% баллов по тесту MATH и 90% баллов по тесту GSM8K, двум математическим тестам, охватывающим широкий спектр задач соревнований от начальной до старшей школы. Кроме того, он набрал 74,1% в тесте HumanEval, который оценивает возможности генерации кода и решения проблем», — отметил xAI в своем блоге.

В тесте MMLU, который оценивает способность моделей ИИ понимать язык при выполнении различных задач, новая модель набрала 81,3%, значительно превзойдя 73% у Grok-1.

Помимо этого, xAI также подтвердила, что Grok-1.5 имеет контекстное окно, содержащее до 128 000 токенов (токены — это целые части или подразделы слов, изображений, видео, аудио или кода). Это позволяет модели принимать и обрабатывать огромные объемы информации за один раз — в 16 раз больше, чем «Грок-1», что делает ее более подходящей для анализа, обобщения и извлечения информации из длинных документов. Он может обрабатывать даже более длинные и сложные запросы, сохраняя при этом возможность следовать инструкциям.

Приближаемся к OpenAI и Anthropic

Благодаря расширенным возможностям рассуждения и решения проблем Grok-1.5 не только превосходит своего предшественника в тестах, но также приближается к популярным моделям с открытым и закрытым исходным кодом, включая Gemini 1.5 Pro, GPT-4 и Claude 3.

Например, в MMLU показатель Grok-1.5, равный 81,3%, превосходит недавно представленный Mistral Large, но отстает от Gemini 1.5 Pro (83,7%), GPT-4 (86,4%, по состоянию на март 2023 г.) и Claude 3 Opus ( 86,8%). Аналогичный разрыв был отмечен в тесте GSM8K: модель xAI отстает от предложений Google, OpenAI и Anthropic.

Примечательно, что единственным тестом, в котором Grok-1.5, казалось, имел преимущество, был HumanEval, где он превзошел все модели, кроме Claude 3 Opus. xAI рассчитывает продолжить эти улучшения и обеспечить дальнейший прирост производительности с помощью Grok-2, который, по словам Маска, должен превзойти нынешний ИИ по всем показателям. В настоящее время модель проходит обучение.

Брайан Реммеле, технический консультант, сказал, что, основываясь на его работе с Grok-1, Grok-2 «станет одной из самых мощных платформ LLM AI, когда она будет выпущена. Он превзойдет OpenAI практически по всем показателям».

Наличие Грока-1.5

Что касается Grok-1.5, то xAI планирует начать развертывание на следующей неделе. Компания заявляет, что модель изначально станет доступной для первых тестировщиков и тех, кто уже использует чат-бота Grok на платформе X (Twitter) — с доступом в режиме реального времени ко всем сообщениям на платформе. Внедрение будет поэтапным: компания улучшит модель и представит несколько новых функций (вероятно, включая новый веселый режим), постепенно делая ее доступной для более широкого круга пользователей.

Когда Маск сделал Grok доступным на X, это было воспринято как шаг к более широкому распространению как Grok, так и X. Он начал с того, что сделал AI доступным в рамках подписки платформы «Премиум+» по цене 16 долларов в месяц. Однако всего несколько дней назад миллиардер сообщил, что чат-бот также будет доступен всем подписчикам Premium, платящим 8 долларов в месяц. В другом обновлении он также подтвердил, что подписчики с определенным уровнем подтвержденных подписчиков получат преимущества подписки Premium и Premium +, включая Grok, бесплатно.