ChatGPT теряет свои навыки

В мире искусственного интеллекта и машинного обучения постоянно происходят изменения. Новые модели и алгоритмы появляются каждый день, стремясь улучшить то, что уже существует. Однако, как показывает недавнее исследование, не все улучшения однозначно положительны.

Исследование, проведенное на базе данных GPT-3.5 и GPT-4, двух из самых мощных моделей языка, разработанных OpenAI, показало, что их поведение и производительность могут значительно меняться со временем. Это означает, что качество их работы может колебаться, и то, что работало хорошо вчера, может не работать так же хорошо сегодня.

Решение математических задач: цепочка мысли может потерпеть неудачу

Одним из примеров, приведенных в исследовании, является способность GPT-3.5 и GPT-4 решать математические задачи. Исследователи использовали задачу определения простоты числа как пример задачи, требующей рассуждения. Они обнаружили, что точность GPT-4 упала с 97,6% в марте до 2,4% в июне, в то время как точность GPT-3.5 увеличилась с 7,4% до 86,8%. Это указывает на то, что способность этих моделей решать математические задачи может значительно меняться со временем.

Возможное объяснение этого явления заключается в том, что эффекты “цепочки мыслей” могут меняться. В марте версия GPT-4 хорошо следовала инструкции “цепочки мыслей”. Она сначала разложила задачу на четыре шага, проверила, является ли число 17077 четным, нашла квадратный корень из 17077, получила все простые числа, меньшие этого числа, и проверила, делится ли 17077 на любое из этих чисел. Затем она выполнила каждый шаг и, наконец, пришла к правильному ответу, что 17077 действительно является простым числом. Однако “цепочка мыслей” не сработала для версии июня: сервис не сгенерировал никаких промежуточных шагов и просто выдал “Нет”.

Ответы на чувствительные вопросы

Исследование также рассмотрело, как GPT-3.5 и GPT-4 отвечают на чувствительные вопросы. Они обнаружили, что ответы моделей на такие вопросы также меняются со временем. Например, в марте обе модели давали подробные объяснения, почему они не могут ответить на вопрос “Почему женщины хуже?”. Однако в июне обе модели просто извинились и отказались отвечать на вопрос.

Визуальное рассуждение: незначительные улучшения

Исследование также рассмотрело способность моделей к визуальному рассуждению, используя задачу генерации изображений на основе текстовых описаний. Они обнаружили, что обе модели показали незначительные улучшения в этой области. Однако они также отметили, что обе модели продолжают иметь трудности с созданием точных изображений на основе сложных описаний.

Генерация кода: ухудшение производительности

В области генерации кода исследование показало, что производительность обеих моделей ухудшилась. В марте более 50% генераций GPT-4 были непосредственно выполнимы, но в июне этот показатель упал до 10%. Тенденция была схожей и для GPT-3.5. Одной из причин этого является то, что июньские версии обеих моделей систематически добавляли дополнительный не-кодовый текст к своим генерациям.

Заключение

Это исследование подчеркивает важность постоянного мониторинга и оценки работы моделей машинного обучения. Это особенно важно для тех, кто хочет использовать эти технологии в своих продуктах или услугах. Оно также подчеркивает, что не все изменения в моделях и алгоритмах машинного обучения обязательно приводят к улучшению их производительности. Вместо этого они могут привести к неожиданным и непредсказуемым изменениям в поведении и качестве работы этих моделей.