Чат-боты обошли людей в тесте на креативность, но ученые сомневаются в выводах

Традиционно считалось, что креативность является исключительной прерогативой человека. Однако быстрое развитие искусственного интеллекта (ИИ) привело к созданию генеративных ИИ-чатботов, способных порождать высококачественные художественные произведения, что вызвало интерес к вопросу о различиях между человеческим и машинным творчеством.

Исследование, проведенное учеными из Норвегии и Финляндии и опубликованное в журнале Scientific Reports, сосредотачивается на сравнении креативных способностей людей и искусственного интеллекта (ИИ). По результатам этого исследования, средние показатели креативности чат-ботов оказались выше, чем у людей. Однако стоит отметить, что люди получили как самые высокие, так и самые низкие оценки.

Эксперты указывают на то, что большие языковые модели способны имитировать человеческое творчество, но это не означает, что ИИ обладает настоящей креативностью. Суть таких исследований не заключается в попытке заменить человека машинами, а в помощи в понимании природы человеческого творчества и ИИ.

Чтобы сравнить креативные способности людей и машин, ученые использовали тест альтернативного использования (Alternative Uses Test или AUT), который часто применяется для изучения дивергентного мышления. В этом тесте 256 человеку давали задание придумать оригинальное и творческое применение для четырех предметов: веревки, коробки, карандаша и свечи. Исследуемых поощряли создавать идеи, которые бы воспринимались как умные, необычные, интересные, неординарные, остроумные, инновационные или отличные от обычных, не обязательно практичные или реалистичные. На каждый предмет участникам давалось 30 секунд.

Такое же задание получили три чат-бота: ChatGPT3.5, ChatGPT4 и Copy.Ai (основанный на GPT3). Однако ботам пришлось следовать определенным ограничениям, таким как количество идей и ограничение на количество слов (в то время как люди формулировали свои идеи в 1-3 слова). Каждый бот был протестирован 11 раз для каждого из четырех предметов.

Затем исследователи оценивали креативность людей и ИИ двумя способами. Первый метод измерял, насколько близко предложенное использование предмета было к его первоначальному назначению. Второй метод включал оценку шести экспертами, которые не знали, что некоторые ответы были созданы ИИ, на шкале от 1 до 5 в плане креативности и оригинальности каждого ответа. Затем средние оценки были подсчитаны для людей и ИИ.

Результаты показали, что средние оценки чат-ботов были выше, чем у людей. Тем не менее, почти все самые высокие и самые низкие оценки принадлежали людям.

Доцент кафедры психологии из Бергенского университета, Симона Грассини, которая руководила исследованием, подчеркнула, что их целью не было доказать, что ИИ способен заменить человека в творческих ролях. Их исследование скорее поднимает философские вопросы о том, что делает человека уникальным.

Согласно старшему научному сотруднику Института Алана Тьюринга, Райану Бернеллу, чат-боты, которые были протестированы, представляют собой «черные ящики», и мы не знаем точно, на каких данных они были обучены и каким образом они генерируют свои ответы. Он отмечает, что они могли просто воспроизводить знания из своих обучающих данных, включая этот конкретный тип задач, вместо того чтобы генерировать новые творческие идеи. По его мнению, это измерение прошлых знаний модели, а не креативности.

Выводы

Исследование позволяет понять взаимосвязь между человеческой и машинной креативностью. Результаты свидетельствуют о том, что ИИ достиг как минимум того же уровня или даже превзошел способность среднего человека генерировать идеи в наиболее типичном тесте на креативное мышление (AUT). Хотя чат-боты ИИ в среднем превосходят человека, лучшие люди все же могут с ними конкурировать. Однако технология ИИ быстро развивается, и через полгода результаты могут измениться. 

На основе данного исследования можно сделать вывод, что наиболее слабым местом в работе людей является относительно высокая доля некачественных идей, которые отсутствуют в ответах чатботов. Этот недостаток может быть обусловлен нормальными вариациями в работе человека, включая сбои в ассоциативных и исполнительных процессах, а также мотивационными факторами. Следует отметить, что креативность — явление многогранное, и в данном случае мы сосредоточились только на результатах выполнения наиболее часто используемой задачи (AUT), измеряющей дивергентное мышление.