Wenn Sie ein Brainstorming für neue Ideen durchführen, können KI-Modelle wie GPT-4 oft einige großartige Ideen liefern, die Sie Ihrer Liste hinzufügen können. Das Problem ist nur, dass die lange Liste der Ideen, die es erzeugt, oft sehr ähnliche Ideen enthält und nicht das unkonventionelle Denken, das Sie suchen.
Forscher der Wharton School, University of Pennsylvania, wollten herausfinden, ob es einen Weg gibt, ein KI-Modell wie GPT-4 dazu zu bringen, während des Ideenfindungsprozesses vielfältigere bzw. neuartige Ideen zu liefern.
Die Autoren der Studie, Lennart Meincke, Ethan Mollick und Christian Terwiesch, gingen von der Hypothese aus, dass GPT-4 das Potenzial hat, kreativer zu sein, und dass eine geschickte Anleitung diese Kreativität freisetzen könnte.
Das Experiment
Das Team konzipierte eine Übung, bei der es darum ging, Ideen für ein neues Konsumprodukt zu entwickeln, das sich an Studenten richtet und höchstens $50 kostet.
Sie setzten verschiedene Aufforderungsstrategien ein, um zu sehen, welche Ideen GPT-4 einbringen konnte, und maßen dann deren Vielfalt. Anschließend verglichen sie die Vielfalt der von der KI generierten Ideen mit denen, die Teams von MBA-Studenten entwickelt hatten.
Die von ihnen verwendeten Souffleurstrategien waren:
- Minimale Aufforderung
- Aufforderung an GPT-4, verschiedene Rollen zu übernehmen
- Austausch von Ideen für kreatives Denken aus vorhandener Literatur mit GPT-4
- Verwenden Sie Chain of Thought (CoT) Prompting und weisen Sie das LLM an, in mehreren verschiedenen Schritten zu arbeiten
🚨 Unsere neue Arbeit: Wir wissen, dass GPT-4 bessere Ideen hervorbringt als die meisten Menschen, aber die Ideen sind irgendwie ähnlich & Varianz ist wichtig
Es hat sich jedoch herausgestellt, dass eine bessere Anleitung einen Pool von guten Ideen hervorbringen kann, der fast so vielfältig ist wie der einer Gruppe von Menschen https://t.co/LkGsU0VC7S pic.twitter.com/5BDx8A3E8Z
- Ethan Mollick (@emollick) 27. Januar 2024
Ergebnisse
Die Vielfalt der Ideen wurde mit der Cosinus-Ähnlichkeitsmetrik gemessen. Diese Metrik wird üblicherweise in der Textanalyse verwendet, um zu messen, wie ähnlich die Ideen in den Listen sind. Ein Wert von 1 bedeutet, dass die Ideen sehr ähnlich sind, wobei die Vielfalt der verglichenen Ideen zunimmt, wenn der Wert gegen Null tendiert.
In dem Papier wird festgestellt, dass "Ideenpools, die von GPT-4 ohne spezielle Aufforderung generiert werden, weniger vielfältig sind als Ideen, die von Gruppen menschlicher Probanden generiert werden". Die Gruppen von Menschen hatten eine Cosinus-Ähnlichkeit von 0,243 im Vergleich zu einem Bereich von 0,255 bis 0,432 für GPT-4-generierte Ideen, abhängig von der Aufforderung.
Hier ist ein Beispiel für den Vergleich von Ideen.
Dies bestätigt, dass die GPT-4 zwar einige sehr gute Ideen hat, aber viele von ihnen letztlich nur Variationen derselben Idee sind. Ein Sieg für Team Human. Gemessen wurde auch die Anzahl der guten Ideen und wie schnell der Ideenpool erschöpft war.
Die Forscher fanden heraus, dass die Verwendung längerer Aufforderungen zu einer größeren Vielfalt an Ideen führte, die GPT-4 lieferte. Die beste Strategie war die Verwendung von CoT, die mit einer Cosinus-Ähnlichkeit von 0,255 knapp hinter den Menschen lag.
Die Aufforderung an GPT-4, Personas anzunehmen, führte zu gemischten Ergebnissen mit geringer Vorhersagbarkeit. Die Aufforderung an den LLM, als "Steve Jobs" zu agieren (0,368), lieferte vielfältigere Ideen als eine Variante mit "Elon Musk" (0,385). Die Aufforderung, als "kreativer Unternehmer" aufzutreten, ergab eine Cosinus-Ähnlichkeit von 0,348.
Interessanterweise gab es beim Vergleich der Ideenlisten aus den verschiedenen Aufforderungen kaum Überschneidungen zwischen ihnen.
In einem Tweet sagte Ethan Mollick: "Ich sollte erwähnen, dass ich nicht glaube, dass wir eine Art erstaunliche Souffleurtechnik entdeckt haben (oder auch nur versucht haben, sie zu entdecken). Wir argumentieren, dass wichtige angenommene Grenzen der KI-Ideenfindung - sie erzeugt weniger unterschiedliche Ideen als eine Gruppe von Menschen und hat insgesamt weniger Ideen - nicht wahr sein müssen.
Wenn Sie also GPT-4 als Hilfe für Ihre nächste Brainstorming-Sitzung nutzen möchten, können Sie einige Dinge tun, um es zu mehr Kreativität zu bewegen. Verwenden Sie längere Aufforderungen, fügen Sie einige CoT-Anweisungen ein, bitten Sie es, einige Personas anzunehmen, und kombinieren Sie dann alle Ideen aus den verschiedenen Aufforderungen in einer einzigen Liste.
Noch bessere Ergebnisse erzielen Sie, wenn Sie eine Gruppe von MBA-Studenten einstellen.
