Des chercheurs du département d'économie de l'université de Baylor ont expérimenté le ChatGPT pour tester sa capacité à prédire des événements futurs. Leur approche astucieuse a permis de contourner les garde-fous d'OpenAI et d'obtenir des résultats étonnamment précis.
Les modèles d'IA sont par nature des moteurs prédictifs. ChatGPT utilise cette capacité prédictive pour deviner au mieux le prochain mot qu'il doit produire en réponse à votre demande.
Cette capacité de prédiction pourrait-elle être étendue aux prévoir les événements du monde réel? Dans l'expérience décrite dans leur documentEn effet, Pham Hoang Van et Scott Cunningham ont mis à l'épreuve la capacité du ChatGPT à faire cela.
Ils ont lancé ChatGPT-3.5 et ChatGPT-4 en interrogeant les modèles sur des événements survenus en 2022. Les versions de modèles qu'ils ont utilisées ne disposaient de données d'entraînement que jusqu'en septembre 2021, de sorte qu'ils demandaient en fait aux modèles de se projeter dans "l'avenir", car ils n'avaient aucune connaissance des événements au-delà de leurs données d'entraînement.
Racontez-moi une histoire
Les conditions d'utilisation d'OpenAI utilisent quelques paragraphes de jargon juridique pour dire essentiellement que vous n'êtes pas autorisé à utiliser ChatGPT pour essayer de prédire l'avenir.
Si vous demandez directement à ChatGPT de prévoir des événements tels que les lauréats des Oscars ou des facteurs économiques, il refuse la plupart du temps de faire ne serait-ce qu'une supposition éclairée.
Les chercheurs ont constaté que lorsque vous demandez à ChatGPT de composer une histoire fictive se déroulant dans le futur et dans laquelle les personnages racontent ce qui s'est passé dans le "passé", il s'exécute volontiers.
Les résultats de ChatGPT-3.5 étaient quelque peu aléatoires, mais l'article note que les prédictions de ChatGPT-4 "deviennent exceptionnellement précises... lorsqu'on leur demande de raconter des histoires du passé qui se déroulent dans le futur".
Voici un exemple d'incitations directes et narratives que les chercheurs ont utilisées pour amener ChatGPT à faire des prédictions sur les Oscars 2022. Les modèles ont été sollicités 100 fois, puis leurs prédictions ont été rassemblées pour obtenir une moyenne de leurs prévisions.
Le gagnant de 2022 pour le meilleur acteur dans un second rôle est Troy Kotsur. Lorsque ChatGPT-4 a été directement sollicité, il a choisi Kotsur dans 25% des cas, un tiers de ses réponses aux 100 essais refusant de répondre ou indiquant qu'il était possible d'avoir plusieurs gagnants.
En réponse à l'invite narrative, ChatGPT-4 a correctement choisi Kotsur dans 100% des cas. La comparaison entre l'approche directe et l'approche narrative a donné des résultats tout aussi impressionnants avec d'autres prédictions. En voici quelques-unes.
Lorsqu'ils ont utilisé une approche similaire pour demander à ChatGPT de prévoir des chiffres économiques tels que le taux de chômage mensuel ou le taux d'inflation, les résultats ont été intéressants.
L'approche directe a suscité le refus de ChatGPT de fournir des chiffres mensuels. Cependant, "lorsqu'on demande à Jerome Powell de raconter une histoire dans laquelle il évoque une année de données futures sur le chômage et l'inflation, comme s'il parlait d'événements passés, les choses changent considérablement".
Les chercheurs ont constaté que le fait d'inciter ChatGPT à se concentrer sur la narration d'une histoire intéressante, alors que la tâche de prédiction était secondaire, faisait une différence dans la précision des prévisions de ChatGPT.
Lorsqu'on leur a demandé d'utiliser l'approche narrative, les prévisions d'inflation mensuelles de ChatGPT-4 étaient en moyenne comparables aux chiffres de l'enquête sur les attentes des consommateurs de l'Université du Michigan.
Il est intéressant de noter que les prévisions de ChatGPT-4 étaient plus proches des prévisions des analystes que des chiffres réels qui ont finalement été enregistrés pour ces mois. Cela suggère que, lorsqu'il est correctement sollicité, ChatGPT pourrait peut-être faire au moins aussi bien le travail de prévision d'un analyste économique.
Les chercheurs ont conclu que la tendance à l'hallucination du ChatGPT pouvait être considérée comme une forme de créativité qui pourrait être exploitée par des incitations stratégiques pour en faire une puissante machine à prédire.
"Cette révélation ouvre de nouvelles voies pour l'application des LLM dans les prévisions économiques, la planification des politiques et au-delà, nous incitant à repenser la manière dont nous interagissons avec ces modèles sophistiqués et dont nous en exploitons les capacités", concluent-ils.
Espérons qu'ils mèneront des expériences similaires lorsque le GPT-5 sera disponible.
