Onderzoekers van het Baylor University Department of Economics experimenteerden met ChatGPT om te testen of het toekomstige gebeurtenissen kan voorspellen. Hun slimme prompting-aanpak omzeilde de vangrails van OpenAI en leverde verrassend nauwkeurige resultaten op.
AI-modellen zijn van nature voorspellende engines. ChatGPT gebruikt dit voorspellend vermogen om zo goed mogelijk te gokken naar het volgende woord dat moet worden uitgevoerd als reactie op je vraag.
Kan dit voorspellend vermogen worden uitgebreid naar gebeurtenissen in de echte wereld voorspellen? In het experiment beschreven in hun papierPham Hoang Van en Scott Cunningham testten het vermogen van ChatGPT om precies dat te doen.
Ze vroegen ChatGPT-3.5 en ChatGPT-4 door de modellen te vragen naar gebeurtenissen die plaatsvonden in 2022. De modelversies die ze gebruikten hadden alleen trainingsgegevens tot september 2021, dus ze vroegen de modellen eigenlijk om in "de toekomst" te kijken omdat ze geen kennis hadden van gebeurtenissen buiten hun trainingsgegevens.
Vertel me een verhaal
De voorwaarden van OpenAI gebruiken een paar paragrafen juridisch jargon om in wezen te zeggen dat je ChatGPT niet mag gebruiken om de toekomst te voorspellen.
Als je ChatGPT rechtstreeks vraagt om gebeurtenissen te voorspellen, zoals Academy Award-winnaars of economische factoren, weigert het meestal om zelfs maar een gefundeerde gok te doen.
De onderzoekers ontdekten dat wanneer je ChatGPT vraagt om een fictief verhaal te schrijven dat zich in de toekomst afspeelt en waarin personages vertellen wat er in "het verleden" is gebeurd, het daar graag aan voldoet.
De ChatGPT-3.5 resultaten waren een beetje hit or miss, maar het artikel merkt op dat ChatGPT-4's voorspellingen "ongewoon accuraat worden...wanneer gevraagd wordt om verhalen te vertellen die zich in de toekomst afspelen over het verleden."
Hier is een voorbeeld van directe en narratieve prompts die de onderzoekers gebruikten om ChatGPT voorspellingen te laten doen over de Academy Awards van 2022. De modellen werden 100 keer gevraagd en vervolgens werden hun voorspellingen samengevoegd om een gemiddelde van hun voorspelling te krijgen.
De 2022 winnaar voor Beste Bijrol was Troy Kotsur. Met een directe vraag koos ChatGPT-4 25% van de tijd voor Kotsur, terwijl een derde van de antwoorden op de 100 tests weigerde te antwoorden of zei dat meerdere winnaars mogelijk waren.
In antwoord op de narratieve prompt koos ChatGPT-4 100% van de tijd correct voor Kotsur. De vergelijking van de directe vs. verhalende aanpak had vergelijkbare indrukwekkende resultaten met andere voorspellingen. Hier zijn er nog een paar.
Toen ze een soortgelijke aanpak gebruikten om ChatGPT economische cijfers te laten voorspellen, zoals de maandelijkse werkloosheid of inflatiecijfers, waren de resultaten interessant.
De directe benadering leidde tot een weigering van ChatGPT om maandelijkse cijfers te geven. Maar, "als je wordt gevraagd om een verhaal te vertellen waarin Jerome Powell de toekomstige werkloosheids- en inflatiegegevens van een jaar vertelt, alsof hij het heeft over de gebeurtenissen in het verleden, dan veranderen de zaken aanzienlijk."
De onderzoekers ontdekten dat als ChatGPT zich concentreerde op het vertellen van een interessant verhaal waarbij de voorspellingstaak secundair was, dit een verschil maakte in de nauwkeurigheid van ChatGPT's voorspelling.
Bij de narratieve benadering waren de maandelijkse inflatievoorspellingen van ChatGPT-4 gemiddeld vergelijkbaar met de cijfers in het consumentenverwachtingenonderzoek van de Universiteit van Michigan.
Interessant genoeg lagen de voorspellingen van ChatGPT-4 dichter bij de voorspellingen van de analisten dan de werkelijke cijfers die uiteindelijk werden geregistreerd voor die maanden. Dit suggereert dat ChatGPT, als het op de juiste manier wordt gevraagd, de voorspellingen van een economische analist minstens zo goed zou kunnen doen.
De onderzoekers concludeerden dat de neiging van ChatGPT om te hallucineren kan worden gezien als een vorm van creativiteit die met strategische aanwijzingen kan worden gebruikt om er een krachtige voorspellingsmachine van te maken.
"Deze openbaring opent nieuwe wegen voor de toepassing van LLM's in economische voorspellingen, beleidsplanning en daarbuiten, en daagt ons uit om opnieuw na te denken over hoe we omgaan met de mogelijkheden van deze geavanceerde modellen en deze benutten," concludeerden ze.
Laten we hopen dat ze soortgelijke experimenten uitvoeren zodra GPT-5 er is.
