Hvis du brainstormer på nye ideer, kan AI-modeller som GPT-4 ofte komme med nogle gode ideer, som du kan føje til din liste. Problemet er, at den lange liste af ideer, den genererer, ofte indeholder meget ensartede ideer i stedet for den out-of-the-box-tænkning, du er ude efter.
Forskere fra The Wharton School, University of Pennsylvania, ville se, om der var en måde at få en AI-model som GPT-4 til at levere mere forskelligartede eller nye idéer under idégenereringsprocessen.
Artiklens forfattere, Lennart Meincke, Ethan Mollick og Christian Terwiesch, startede med den hypotese, at GPT-4 havde potentiale til at være mere kreativ, og at en smart opfordring kunne frigøre den kreativitet.
Eksperimentet
Teamet designede en øvelse, hvor målet var at komme med ideer til et nyt forbrugerprodukt målrettet universitetsstuderende, som kostede $50 eller mindre.
De brugte forskellige opfordringsstrategier for at se, hvilke ideer GPT-4 kunne komme med, og målte derefter deres mangfoldighed. Derefter sammenlignede de diversiteten i de AI-genererede ideer med dem, som hold af MBA-studerende kom med.
De opfordringsstrategier, de brugte, var:
- Minimal tilskyndelse
- Bed GPT-4 om at påtage sig forskellige personaer
- Del ideer til kreativ tænkning fra eksisterende litteratur med GPT-4
- Brug CoT-vejledning (Chain of Thought) og instruer LLM i at arbejde i flere forskellige trin
🚨 Vores nye artikel: Vi ved, at GPT-4 genererer bedre ideer end de fleste mennesker, men ideerne er ret ens, og varians betyder noget
Men det viser sig, at bedre vejledning kan generere puljer af gode ideer, der er næsten lige så forskellige som fra en gruppe mennesker https://t.co/LkGsU0VC7S pic.twitter.com/5BDx8A3E8Z
- Ethan Mollick (@emollick) 27. januar 2024
Resultater
Idéernes mangfoldighed blev målt ved hjælp af Cosine-lighedsmetoden. Denne metrik bruges ofte i tekstanalyse til at måle, hvor ens elementer i lister er med hensyn til deres ideer. Et mål på 1 betyder, at ideerne er meget ens, og at diversiteten i de sammenlignede ideer stiger, når værdien går mod nul.
Artiklen bemærkede, at "puljer af ideer genereret af GPT-4 uden særlig opfordring er mindre forskellige end ideer genereret af grupper af mennesker." Grupperne af mennesker havde en cosinus-lighed på 0,243 sammenlignet med et interval på 0,255 til 0,432 for GPT-4-genererede ideer afhængigt af opfordringen.
Her er et eksempel på sammenligning af ideer.
Det bekræfter, at selvom GPT-4 kommer med nogle rigtig gode idéer, så ender mange af dem med at være variationer af den samme idé. En sejr for Team Human. Antallet af gode idéer, og hvor hurtigt puljen af idéer blev opbrugt, blev også målt.
Forskerne fandt ud af, at brug af længere prompts resulterede i større mangfoldighed i de ideer, GPT-4 leverede. Den bedste strategi var at bruge CoT, som kom på en tæt andenplads efter menneskerne med en cosinus-lighed på 0,255.
At bede GPT-4 om at påtage sig personaer gav blandede resultater med ringe forudsigelighed. At bede LLM om at agere som "Steve Jobs" (0,368) gav flere forskellige ideer end en variation med "Elon Musk" (0,385). En opfordring til at optræde som en "kreativ iværksætter" gav en cosinus-lighed på 0,348.
Interessant nok var der kun lidt overlapning mellem ideerne fra de forskellige spørgsmål, da de blev sammenlignet.
I et tweet sagde Ethan Mollick: "Jeg bør nævne, at jeg ikke tror, vi har opdaget (eller forsøgt at opdage) en eller anden form for fantastisk prompting-teknik. Vi argumenterer for, at de største formodede begrænsninger for AI-ideation - den genererer mindre forskellige ideer end en gruppe mennesker og har færre ideer generelt - ikke behøver at være sande."
Så hvis du vil bruge GPT-4 som hjælp til din næste brainstorming, er der et par ting, du kan gøre for at få den til at være mere kreativ. Brug længere prompts, smid nogle CoT-instruktioner ind, bed den om at antage et par personaer, og kombiner så alle ideerne fra de forskellige prompts til en enkelt liste.
Eller for at få endnu bedre resultater kan du hyre en gruppe MBA-studerende.
