Om du funderar på nya idéer kan AI-modeller som GPT-4 ofta komma på några bra idéer att lägga till i din lista. Problemet är att den långa lista med idéer som den genererar ofta innehåller mycket liknande idéer, snarare än det out-of-the-box-tänkande som du är ute efter.
Forskare från The Wharton School, University of Pennsylvania, ville se om det fanns något sätt att få en AI-modell som GPT-4 att leverera mer varierade, eller nya, idéer under idégenereringsprocessen.
Författarna till artikeln, Lennart Meincke, Ethan Mollick och Christian Terwiesch, utgick från hypotesen att GPT-4 hade potential att vara mer kreativt och att smarta uppmaningar skulle kunna frigöra denna kreativitet.
Experimentet
Teamet utformade en övning där målet var att komma med idéer till en ny konsumentprodukt riktad till studenter som kostar $50 eller mindre.
De använde olika uppmaningsstrategier för att se vilka idéer GPT-4 kunde komma på och mätte sedan deras mångfald. De jämförde sedan mångfalden hos de AI-genererade idéerna med de idéer som team av MBA-studenter kom på.
De uppmaningsstrategier de använde var följande:
- Minimal uppmaning
- Uppmana GPT-4 att anta olika personligheter
- Dela idéer om kreativt tänkande från befintlig litteratur med GPT-4
- Använd CoT-vägledning (Chain of Thought) och instruera LLM att arbeta i flera distinkta steg
🚨 Vår nya artikel: vi vet att GPT-4 genererar bättre idéer än de flesta människor, men idéerna är ganska lika och variansen spelar roll
Men det visar sig att bättre uppmaningar kan generera pooler av bra idéer som är nästan lika olika som från en grupp människor https://t.co/LkGsU0VC7S pic.twitter.com/5BDx8A3E8Z
- Ethan Mollick (@emollick) 27 januari 2024
Resultat
Mångfalden av idéer mättes med hjälp av Cosine-likhetsmåttet. Detta mått används ofta inom textanalys för att mäta hur lika olika idéer i listor är. Ett mått på 1 innebär att idéerna är mycket lika och att mångfalden i de jämförda idéerna ökar när värdet går mot noll.
I artikeln konstateras att "idépooler som genereras av GPT-4 utan någon särskild uppmaning är mindre varierande än idéer som genereras av grupper av mänskliga försökspersoner". Grupperna av människor hade en Cosine-likhet på 0,243 jämfört med ett intervall på 0,255 till 0,432 för GPT-4-genererade idéer beroende på uppmaning.
Här är ett exempel på en jämförelse av idéer.
Detta bekräftar att även om GPT-4 kommer med några mycket bra idéer, blir många av dem i slutändan variationer av samma idé. En vinst för Team Human. Antalet bra idéer och hur snabbt idépoolen tömdes mättes också.
Forskarna fann att användning av längre uppmaningar resulterade i större mångfald i de idéer som GPT-4 levererade. Den bästa strategin var att använda CoT, som kom på andra plats efter människorna med en Cosine-likhet på 0,255.
Att uppmana GPT-4 att anta personas gav blandade resultat med liten förutsägbarhet. Att uppmana LLM att agera som "Steve Jobs" (0,368) gav mer varierande idéer än en variant med "Elon Musk" (0,385). Uppmaningen att agera som en "kreativ entreprenör" gav en Cosine-likhet på 0,348.
Det är intressant att notera att när man jämförde listorna med idéer från de olika uppmaningarna fanns det inte mycket överlappning mellan dem.
I en tweet sa Ethan Mollick: "Jag bör nämna att jag inte tror att vi upptäckte (eller ens försökte upptäcka) någon form av fantastisk uppmaningsteknik. Vi hävdar att stora antagna gränser för AI-idéer - det genererar mindre olika idéer än en grupp människor och har färre idéer totalt sett - inte behöver vara sanna.
Så om du vill använda GPT-4 som hjälp vid nästa brainstorming finns det några saker du kan göra för att få den att bli mer kreativ. Använd längre uppmaningar, släng in några CoT-instruktioner, be den att anta några personas och kombinera sedan alla idéer från de olika uppmaningarna till en enda lista.
Eller, för ännu bättre resultat, kan du anlita en grupp MBA-studenter.
