Als je aan het brainstormen bent over nieuwe ideeën, dan kunnen AI-modellen zoals GPT-4 vaak met geweldige ideeën komen om aan je lijst toe te voegen. Het probleem is dat de lange lijst met ideeën die het genereert vaak erg op elkaar lijkende ideeën bevat, in plaats van het out-of-the-box denken waar je naar op zoek bent.
Onderzoekers van The Wharton School, University of Pennsylvania, wilden kijken of er een manier was om een AI-model als GPT-4 meer diverse, of nieuwe, ideeën te laten leveren tijdens het ideegeneratieproces.
De auteurs van het artikel, Lennart Meincke, Ethan Mollick en Christian Terwiesch, begonnen met de hypothese dat GPT-4 het potentieel had om creatiever te zijn en dat slimme aansporingen die creativiteit zouden kunnen ontsluiten.
Het experiment
Het team ontwierp een oefening waarbij het doel was om ideeën te bedenken voor een nieuw consumentenproduct gericht op studenten dat $50 of minder kost.
Ze gebruikten verschillende aanmoedigingsstrategieën om te zien met welke ideeën GPT-4 kon komen en maten vervolgens hun diversiteit. Vervolgens vergeleken ze de diversiteit van de door de AI gegenereerde ideeën met de ideeën die teams van MBA-studenten bedachten.
De aansporingsstrategieën die ze gebruikten waren:
- Minimaal vragen
- Laat GPT-4 verschillende persona's aannemen
- Ideeën voor creatief denken uit bestaande literatuur delen met GPT-4
- Gebruik Chain of Thought (CoT) prompting en instrueer de LLM om in meerdere afzonderlijke stappen te werken.
🚨 Onze nieuwe paper: we weten dat GPT-4 betere ideeën genereert dan de meeste mensen, maar de ideeën lijken op elkaar & variantie doet ertoe
Maar het blijkt dat een betere stimulering pools van goede ideeën kan genereren die bijna net zo divers zijn als die van een groep mensen. https://t.co/LkGsU0VC7S pic.twitter.com/5BDx8A3E8Z
- Ethan Mollick (@emollick) 27 januari 2024
Resultaten
De diversiteit van de ideeën werd gemeten met de Cosine similarity metric. Deze metriek wordt vaak gebruikt in tekstanalyse om te meten hoe gelijkaardig items in lijsten zijn in termen van hun ideeën. Een waarde van 1 betekent dat de ideeën erg op elkaar lijken, waarbij de diversiteit in de vergeleken ideeën toeneemt naarmate de waarde naar nul neigt.
In het artikel wordt opgemerkt dat "pools van ideeën gegenereerd door GPT-4 zonder speciale aanwijzingen minder divers zijn dan ideeën gegenereerd door groepen menselijke proefpersonen." De groepen mensen hadden een Cosinus overeenkomst van 0,243 vergeleken met een bereik van 0,255 tot 0,432 voor GPT-4 gegenereerde ideeën afhankelijk van de prompting.
Hier is een voorbeeld van de vergelijking van ideeën.
Dit bevestigt dat GPT-4 weliswaar met een aantal zeer goede ideeën komt, maar dat veel ervan uiteindelijk variaties van hetzelfde idee zijn. Een overwinning voor Team Human. Er werd ook gemeten hoeveel goede ideeën er waren en hoe snel de ideeënpoel was uitgeput.
De onderzoekers ontdekten dat het gebruik van langere prompts resulteerde in meer diversiteit in de ideeën die GPT-4 opleverde. De beste strategie was het gebruik van CoT, dat op een nipte tweede plaats kwam na de mensen met een Cosine overeenkomst van 0,255.
GPT-4 vragen om persona's aan te nemen had gemengde resultaten met weinig voorspelbaarheid. De LLM vragen om zich voor te doen als "Steve Jobs" (0,368) leverde meer verschillende ideeën op dan een variatie met "Elon Musk" (0,385). De vraag om op te treden als een "creatieve ondernemer" leverde een Cosinus overeenkomst op van 0,348.
Interessant genoeg was er weinig overlap tussen de lijsten met ideeën van de verschillende prompts toen ze met elkaar werden vergeleken.
In een tweet zei Ethan Mollick: "Ik moet zeggen dat ik niet denk dat we een of andere verbazingwekkende prompting-techniek hebben ontdekt (of zelfs maar hebben geprobeerd te ontdekken). We beargumenteren dat belangrijke veronderstelde grenzen van AI-ideeën - het genereert minder verschillende ideeën dan een groep mensen & heeft over het algemeen minder ideeën - niet waar hoeven te zijn."
Dus als je GPT-4 wilt gebruiken om te helpen bij je volgende brainstormsessie, zijn er een paar dingen die je kunt doen om het creatiever te maken. Gebruik langere prompts, gooi er wat CoT-instructies in, vraag het om een paar persona's aan te nemen en combineer dan alle ideeën van de verschillende prompts in één lijst.
Of, voor nog betere resultaten, kun je een groep MBA-studenten inhuren.
