Se state facendo un brainstorming di nuove idee, i modelli di intelligenza artificiale come GPT-4 sono spesso in grado di proporre idee fantastiche da aggiungere al vostro elenco. Il problema è che il lungo elenco di idee che genera contiene spesso idee molto simili, piuttosto che il pensiero fuori dagli schemi che cercate.
I ricercatori della Wharton School dell'Università della Pennsylvania volevano capire se esisteva un modo per far sì che un modello di intelligenza artificiale come il GPT-4 fornisse idee più diversificate o nuove durante il processo di generazione delle idee.
Gli autori del lavoro, Lennart Meincke, Ethan Mollick e Christian Terwiesch, sono partiti dall'ipotesi che la GPT-4 avesse il potenziale per essere più creativa e che una sollecitazione intelligente potesse sbloccare tale creatività.
L'esperimento
Il team ha progettato un esercizio in cui l'obiettivo era quello di proporre idee per un nuovo prodotto di consumo destinato agli studenti universitari che costasse $50 o meno.
Hanno usato diverse strategie di sollecitazione per vedere quali idee il GPT-4 poteva proporre e poi hanno misurato la loro diversità. Hanno poi confrontato la diversità delle idee generate dall'IA con quelle proposte da team di studenti MBA.
Le strategie di stimolo utilizzate sono state:
- Richieste minime
- Chiedere al GPT-4 di assumere diversi ruoli.
- Condividere idee di pensiero creativo dalla letteratura esistente con il GPT-4.
- Utilizzare il prompt della Catena del Pensiero (CoT) e istruire l'LLM a lavorare in più fasi distinte.
🚨 Il nostro nuovo documento: sappiamo che il GPT-4 genera idee migliori di quelle della maggior parte delle persone, ma le idee sono piuttosto simili e la varianza conta.
Ma si scopre che una migliore sollecitazione può generare gruppi di buone idee quasi altrettanto diversi di quelli provenienti da un gruppo di esseri umani. https://t.co/LkGsU0VC7S pic.twitter.com/5BDx8A3E8Z
- Ethan Mollick (@emollick) 27 gennaio 2024
Risultati
La diversità delle idee è stata misurata utilizzando la metrica della somiglianza del coseno. Questa metrica è comunemente utilizzata nell'analisi dei testi per misurare la somiglianza tra gli elementi di un elenco in termini di idee. Una misura pari a 1 significa che le idee sono molto simili e che la diversità delle idee confrontate aumenta man mano che il valore tende a zero.
Il documento osserva che "i pool di idee generati dal GPT-4 senza particolari sollecitazioni sono meno diversificati rispetto alle idee generate da gruppi di soggetti umani". I gruppi di soggetti umani avevano una somiglianza del coseno di 0,243 rispetto a un intervallo compreso tra 0,255 e 0,432 per le idee generate dal GPT-4, a seconda del suggerimento.
Ecco un esempio di confronto di idee.
Questo conferma che, sebbene il GPT-4 proponga alcune idee molto valide, molte di esse finiscono per essere variazioni della stessa idea. Una vittoria per il Team Human. È stato misurato anche il numero di idee valide e la velocità con cui il pool di idee si è esaurito.
I ricercatori hanno riscontrato che l'utilizzo di prompt più lunghi ha portato a una maggiore diversità nelle idee fornite dal GPT-4. La strategia migliore è stata l'utilizzo della CoT, che si è piazzata a un passo dagli esseri umani con una somiglianza del coseno pari a 0,255.
Chiedere al GPT-4 di assumere dei personaggi ha dato risultati contrastanti e poco prevedibili. Chiedendo al LLM di vestire i panni di "Steve Jobs" (0,368) si sono ottenute idee più diverse rispetto alla variante "Elon Musk" (0,385). Chiedendo di agire come "imprenditore creativo" si è ottenuta una somiglianza di Coseno pari a 0,348.
È interessante notare che, quando sono stati confrontati gli elenchi di idee dei diversi suggerimenti, si è notata una scarsa sovrapposizione tra di essi.
In un tweet, Ethan Mollick ha dichiarato: "Devo dire che non credo che abbiamo scoperto (o anche solo cercato di scoprire) una sorta di tecnica di stimolo straordinaria. Stiamo sostenendo che i principali limiti ipotizzati dell'ideazione dell'IA - genera meno idee diverse rispetto a un gruppo di persone e ha meno idee in generale - non sono necessariamente veri".
Quindi, se volete usare il GPT-4 per aiutarvi nella vostra prossima sessione di brainstorming, potete fare alcune cose per renderlo più creativo. Utilizzate suggerimenti più lunghi, inserite alcune istruzioni di CoT, chiedetegli di ipotizzare alcuni personaggi e poi combinate tutte le idee provenienti dai diversi suggerimenti in un unico elenco.
Oppure, per ottenere risultati ancora migliori, potreste assumere un gruppo di studenti MBA.
