Исследование, проведенное Университетом Ставангера в Норвегии, показало, что большие языковые модели (LLM) ИИ превосходят людей в тестах, предназначенных для измерения творческого мышления.
Исследователи сопоставили 256 человек-добровольцев с тремя чат-ботами с искусственным интеллектом - ChatGPT3, ChatGPT4 и Copy.Ai (основанный на GPT-3) - в создании альтернативных вариантов использования повседневных предметов, таких как веревки, коробки, карандаши и свечи.
Исследование измеряет дивергентное мышление с помощью задания "Альтернативное использование" (Alternate Uses Task, AUT), разработанного психологом Дж. П. Гилфордом в 1967 году.
Идея заключается в том, чтобы участники за определенное время придумали как можно больше вариантов использования простых предметов. Например, скрепку можно использовать как отмычку или гравировальный инструмент.
ИИ в целом превзошли людей в решении этой задачи. "Действительно, это удивительный тип способностей, которые демонстрируют чат-боты ИИ", - сказал Симоне Грассини, автор исследования. "Полученные результаты свидетельствуют о том, что ИИ превосходит большинство людей в творческом мышлении".
И люди, и ИИ следовали одним и тем же инструкциям, подчеркивающим важность качества творчества, а не количества идей.
Чат-боты были протестированы 11 раз с использованием четырех различных объектных подсказок. Были внесены некоторые коррективы, чтобы уравнять количество идей, сгенерированных чатботами, с идеями, полученными от участников-людей.
Хотя чат-боты в среднем показали более высокие результаты в заданиях на дивергентное мышление, в исследовании также отмечается, что самые инновационные идеи, генерируемые людьми, совпадали или превосходили идеи чат-ботов с искусственным интеллектом.
"Наши результаты показывают, что, по крайней мере на данный момент, лучшие люди все еще превосходят ИИ", - добавил Грассини.
Это показательно - люди могут создавать действительно качественные продукты, но не так быстро, как ИИ, чего вы, скорее всего, и ожидали.
Сайт исследованиеВ статье, опубликованной в журнале Nature, подчеркивается, что ответы, сгенерированные искусственным интеллектом, получили более высокие оценки, чем человеческие, в таких категориях, как семантическое расстояние и креативность.
Тем не менее, люди все равно превзошли чатботов в семи из восьми категорий оценок, касающихся лучших индивидуальных ответов.
"Я знал, что чатбот будет работать хорошо, но, по-моему, он показал себя даже лучше, чем я ожидал", - заметил Грассини.
Несмотря на многообещающие результаты, исследователи подчеркнули, что уникальная сложность человеческого творчества может оказаться сложной задачей для ИИ, чтобы полностью повторить или превзойти ее.
Грассини заключил: "Еще предстоит выяснить, воплотятся ли эти возможности ИИ непосредственно в системах искусственного интеллекта, заменив собой человеческие рабочие места, требующие творческого мышления. Я предпочитаю думать, что ИИ будет помогать людям совершенствовать свои способности".
Подробнее об исследовании
Исследование показало, что ИИ может использовать новые и инновационные подходы к творческим ответам на вопросы.
Хотя самые лучшие ответы все еще были человеческого происхождения, люди были гораздо более подвержены колебаниям концентрации и другим факторам, которые не позволяли им достичь широты ответов, генерируемых ИИ.
Вот как это работает:
- Методология: В исследовании использовался тест Alternate Uses Task (AUT), давно известный тест на дивергентное мышление и креативность. В нем приняли участие 256 человек и три продвинутых чат-бота с искусственным интеллектом. Их попросили придумать необычные и креативные варианты использования повседневных предметов, а ответы людей и ИИ оценивались по их оригинальности и полезности.
- Сравнение производительности: В среднем чат-боты с искусственным интеллектом превосходили людей как по среднему, так и по максимальному показателю креативности. Однако люди, показавшие самые высокие результаты, все же смогли сравняться с чат-ботами ИИ по уровню креативности или даже превзойти их.
- Различия между искусственным интеллектом и человеком: Исследование показало, что участники-люди часто не справлялись с заданием из-за потери внимания на середине пути. И наоборот, ИИ выполнял задание без усталости, что способствовало повышению общей производительности.
- Сильные и слабые стороны искусственного интеллекта и человеческого творчества: Авторы исследования полагают, что доступ ИИ к большим вычислительным ресурсам объясняет их высокую среднюю производительность. По сути, они могут просчитывать более правдоподобные альтернативные варианты использования объектов, что дает им больше шансов выделить наиболее необычные варианты использования.
- Ограничения и будущие направления: В исследовании признаются такие недостатки, как отсутствие демографического разнообразия среди участников. Кроме того, в исследовании используется только один тест на креативность, рассчитанный на умеренную возрастную категорию, что, естественно, ограничивает его рамки.
Исследователи создают новые методы сравнения подходов ИИ и человека к решению тестов, вопросов и других задач.
Одно из недавних исследований показало, что ChatGPT превосходит студентов в девять из 32 предметов - довольно солидная, но, вероятно, хорошая новость для человечества.
Мы все еще находимся на расстоянии одного поколения ИИ от того, чтобы эта технология полностью победила нас.
