Если вы занимаетесь мозговым штурмом новых идей, то модели искусственного интеллекта, такие как GPT-4, часто могут предложить несколько отличных идей, чтобы добавить их в ваш список. Проблема в том, что длинный список идей, который он генерирует, часто содержит очень похожие идеи, а не нестандартное мышление, которое вы ищете.
Исследователи из Уортонской школы при Пенсильванском университете хотели выяснить, можно ли заставить модель искусственного интеллекта, подобную GPT-4, выдавать больше разнообразных или новых идей в процессе генерации идей.
Авторы работы, Леннарт Майнке, Этан Моллик и Кристиан Тервиш, начали с гипотезы о том, что у GPT-4 есть потенциал для творчества и что умные подсказки могут раскрыть это творчество.
Эксперимент
Команда разработала упражнение, целью которого было предложить идеи нового потребительского товара, ориентированного на студентов колледжа, стоимостью $50 или меньше.
Они использовали различные стратегии подсказки, чтобы увидеть, какие идеи может предложить GPT-4, а затем измерили их разнообразие. Затем они сравнили разнообразие идей, сгенерированных ИИ, с теми, которые предложили команды студентов MBA.
Они использовали следующие стратегии подсказки:
- Минимальные подсказки
- Предложите GPT-4 принять разные образы
- Поделитесь идеями креативного мышления из существующей литературы с GPT-4
- Используйте подсказки по цепочке мыслей (CoT) и инструктируйте LLM работать в несколько отдельных этапов
🚨 Наша новая статья: мы знаем, что GPT-4 генерирует лучшие идеи, чем большинство людей, но идеи похожи и дисперсия имеет значение
Но оказалось, что более эффективные подсказки могут генерировать пулы хороших идей, которые почти так же разнообразны, как и у группы людей. https://t.co/LkGsU0VC7S pic.twitter.com/5BDx8A3E8Z
- Итан Моллик (@emollick) 27 января 2024 года
Результаты
Разнообразие идей измерялось с помощью метрики косинусного сходства. Эта метрика обычно используется в анализе текстов для измерения того, насколько похожи элементы списков с точки зрения их идей. Показатель, равный 1, означает, что идеи очень похожи, а разнообразие сравниваемых идей увеличивается по мере того, как значение стремится к нулю.
В статье отмечается, что "совокупность идей, генерируемых GPT-4 без специальных подсказок, менее разнообразна, чем идеи, генерируемые группами людей". Косинусное сходство групп людей составило 0,243 по сравнению с диапазоном от 0,255 до 0,432 для идей, сгенерированных GPT-4 в зависимости от подсказки.
Вот пример сравнения идей.
Это подтверждает, что, хотя GPT-4 предлагает несколько очень хороших идей, многие из них в итоге оказываются вариациями одной и той же идеи. Победа команды Human. Также измерялось количество хороших идей и скорость их исчерпания.
Исследователи обнаружили, что использование более длинных подсказок привело к большему разнообразию идей, предлагаемых GPT-4. Лучшей стратегией было использование CoT, которая заняла второе место после людей с косинусным сходством 0,255.
Предложение GPT-4 принять на себя роль персон дало смешанные результаты с малой предсказуемостью. Предложение LLM выступить в роли "Стива Джобса" (0,368) дало больше разнообразных идей, чем вариация с использованием "Элона Маска" (0,385). Предложение выступить в роли "креативного предпринимателя" дало косинусное сходство 0,348.
Интересно, что при сравнении списков идей из разных заданий они практически не пересекались.
В своем твите Итан Моллик сказал: "Я должен отметить, что не думаю, что мы открыли (или даже пытались открыть) какую-то удивительную технику подсказки. Мы утверждаем, что основные предполагаемые пределы идейного творчества ИИ - он генерирует меньше разнообразных идей, чем группа людей, и имеет меньше идей в целом - не соответствуют действительности".
Итак, если вы хотите использовать GPT-4 для проведения следующего мозгового штурма, вы можете сделать несколько вещей, чтобы заставить его быть более креативным. Используйте более длинные подсказки, добавьте несколько инструкций CoT, попросите его предположить несколько персон, а затем объедините все идеи из разных подсказок в один список.
Или, чтобы добиться еще более высоких результатов, вы можете нанять группу студентов MBA.
