Si vous êtes en train de réfléchir à de nouvelles idées, les modèles d'IA tels que GPT-4 peuvent souvent vous proposer de bonnes idées à ajouter à votre liste. Le problème est que la longue liste d'idées qu'il génère contient souvent des idées très similaires, plutôt que la réflexion originale que vous recherchez.
Des chercheurs de la Wharton School de l'université de Pennsylvanie ont voulu voir s'il était possible de faire en sorte qu'un modèle d'IA tel que GPT-4 fournisse des idées plus diverses, ou nouvelles, au cours du processus de génération d'idées.
Les auteurs de l'article, Lennart Meincke, Ethan Mollick et Christian Terwiesch, sont partis de l'hypothèse que le GPT-4 avait le potentiel d'être plus créatif et qu'une incitation intelligente pouvait débloquer cette créativité.
L'expérience
L'équipe a conçu un exercice dont l'objectif était de trouver des idées pour un nouveau produit de consommation destiné aux étudiants et coûtant $50 ou moins.
Ils ont utilisé différentes stratégies d'incitation pour voir quelles idées GPT-4 pouvait proposer et ont ensuite mesuré leur diversité. Ils ont ensuite comparé la diversité des idées générées par l'IA avec celles proposées par des équipes d'étudiants en MBA.
Les stratégies d'incitation qu'ils ont utilisées sont les suivantes :
- Incitation minimale
- Inviter le GPT-4 à endosser différents rôles
- Partager avec le GPT-4 des idées de réflexion créative tirées de la littérature existante
- Utiliser la chaîne de pensée (CoT) et demander au MLD de travailler en plusieurs étapes distinctes.
🚨 Notre nouvel article : nous savons que le GPT-4 génère de meilleures idées que la plupart des gens, mais les idées sont similaires et la variance a de l'importance.
Mais il s'avère qu'une meilleure incitation peut générer des pools de bonnes idées qui sont presque aussi diversifiées que celles provenant d'un groupe d'humains https://t.co/LkGsU0VC7S pic.twitter.com/5BDx8A3E8Z
- Ethan Mollick (@emollick) 27 janvier 2024
Résultats
La diversité des idées a été mesurée à l'aide de la métrique de similarité Cosinus. Cette métrique est couramment utilisée dans l'analyse de texte pour mesurer le degré de similitude des idées contenues dans les listes. Une valeur de 1 signifie que les idées sont très similaires, la diversité des idées comparées augmentant au fur et à mesure que la valeur tend vers zéro.
L'article note que "les pools d'idées générés par le GPT-4 sans incitation particulière sont moins diversifiés que les idées générées par des groupes de sujets humains". Les groupes de sujets humains avaient une similarité cosinusoïdale de 0,243 contre une fourchette de 0,255 à 0,432 pour les idées générées par le GPT-4 en fonction de l'incitation.
Voici un exemple de comparaison d'idées.
Cela confirme que si le GPT-4 a de très bonnes idées, beaucoup d'entre elles ne sont que des variations de la même idée. Une victoire pour l'équipe humaine. Le nombre de bonnes idées et la vitesse d'épuisement du réservoir d'idées ont également été mesurés.
Les chercheurs ont constaté que l'utilisation de messages-guides plus longs entraînait une plus grande diversité dans les idées émises par le GPT-4. La meilleure stratégie était l'utilisation de CoT, qui arrivait juste derrière les humains avec une similarité cosinusoïdale de 0,255.
Le fait de demander au GPT-4 d'assumer des personnages a donné des résultats mitigés et peu prévisibles. Demander au LLM d'agir en tant que "Steve Jobs" (0,368) a donné des idées plus diverses qu'une variation utilisant "Elon Musk" (0,385). L'invitation à agir en tant qu'"entrepreneur créatif" a produit une similarité cosinusoïdale de 0,348.
Il est intéressant de noter qu'en comparant les listes d'idées des différents messages-guides, on constate qu'elles se recoupent peu.
Dans un tweet, Ethan Mollick a déclaré : "Je dois préciser que je ne pense pas que nous ayons découvert (ou même essayé de découvrir) une sorte de technique d'incitation étonnante. Nous soutenons que les principales limites supposées de l'IA en matière d'idéation - elle génère moins d'idées diverses qu'un groupe de personnes et a moins d'idées en général - ne sont pas nécessairement vraies.
Ainsi, si vous souhaitez utiliser le GPT-4 lors de votre prochaine session de brainstorming, vous pouvez l'inciter à être plus créatif. Utilisez des invites plus longues, ajoutez des instructions CoT, demandez-lui de supposer quelques personas, puis combinez toutes les idées des différentes invites en une seule liste.
Ou, pour des résultats encore meilleurs, vous pouvez engager un groupe d'étudiants en MBA.
