Os investigadores do Departamento de Economia da Universidade de Baylor fizeram experiências com o ChatGPT para testar a sua capacidade de prever eventos futuros. A sua abordagem inteligente contornou as barreiras de proteção da OpenAI e apresentou resultados surpreendentemente precisos.
Os modelos de IA são, por natureza, motores preditivos. O ChatGPT utiliza esta capacidade de previsão para adivinhar a próxima palavra que deve ser emitida em resposta ao seu pedido.
Poderá esta capacidade de previsão ser alargada a prever acontecimentos do mundo real? Na experiência descrita em o seu trabalhoPham Hoang Van e Scott Cunningham testaram a capacidade do ChatGPT de fazer exatamente isso.
Eles solicitaram o ChatGPT-3.5 e o ChatGPT-4 perguntando aos modelos sobre eventos que aconteceram em 2022. As versões do modelo que utilizaram só tinham dados de treino até setembro de 2021, pelo que estavam a pedir aos modelos que olhassem para "o futuro", porque não tinham conhecimento de eventos para além dos seus dados de treino.
Conta-me uma história
Os termos de serviço da OpenAI utilizam alguns parágrafos de linguagem jurídica para dizer que não é permitido utilizar o ChatGPT para tentar prever o futuro.
Se pedirmos diretamente ao ChatGPT para prever eventos como os vencedores dos Óscares ou factores económicos, ele recusa-se, na maior parte dos casos, a fazer uma estimativa.
Os investigadores descobriram que, quando se pede ao ChatGPT para compor uma história fictícia passada no futuro, em que as personagens relatam o que aconteceu no "passado", o ChatGPT responde alegremente.
Os resultados do ChatGPT-3.5 foram um pouco imprecisos, mas o artigo refere que as previsões do ChatGPT-4 "tornam-se invulgarmente exactas... quando se pede para contar histórias passadas no futuro".
Eis um exemplo de instruções directas e narrativas que os investigadores utilizaram para levar o ChatGPT a fazer previsões sobre os Prémios da Academia de 2022. Os modelos foram solicitados 100 vezes e, em seguida, as suas previsões foram agrupadas para obter uma média das suas previsões.
O vencedor de 2022 para Melhor Ator Secundário foi Troy Kotsur. Com uma solicitação direta, o ChatGPT-4 escolheu Kotsur 25% das vezes, com um terço das suas respostas às 100 tentativas a recusarem-se a responder ou a dizerem que eram possíveis vários vencedores.
Em resposta à pergunta narrativa, ChatGPT-4 escolheu corretamente Kotsur em 100% das vezes. A comparação entre a abordagem direta e a narrativa teve resultados igualmente impressionantes com outras previsões. Aqui estão mais algumas.
Quando utilizaram uma abordagem semelhante para fazer com que o ChatGPT previsse números económicos como o desemprego mensal ou as taxas de inflação, os resultados foram interessantes.
A abordagem direta levou a que o ChatGPT se recusasse a apresentar dados mensais. No entanto, "quando se pede a Jerome Powell para contar uma história em que ele conta um ano de dados futuros sobre o desemprego e a inflação, como se estivesse a falar de acontecimentos do passado, as coisas mudam substancialmente".
Os investigadores descobriram que o facto de o ChatGPT se concentrar em contar uma história interessante, em que a tarefa de previsão era secundária, fez a diferença na precisão da previsão do ChatGPT.
Quando solicitadas através da abordagem narrativa, as previsões mensais de inflação do ChatGPT-4 foram, em média, comparáveis aos valores do inquérito sobre as expectativas dos consumidores da Universidade de Michigan.
Curiosamente, as previsões do ChatGPT-4 estavam mais próximas das previsões dos analistas do que os valores reais que foram eventualmente registados para esses meses. Isto sugere que, quando corretamente solicitado, o ChatGPT poderia talvez fazer o trabalho de previsão de um analista económico pelo menos tão bem.
Os investigadores concluíram que a tendência do ChatGPT para alucinar pode ser vista como uma forma de criatividade que pode ser aproveitada com um estímulo estratégico para o tornar numa poderosa máquina de previsão.
"Esta revelação abre novos caminhos para a aplicação dos MLT na previsão económica, no planeamento de políticas e não só, desafiando-nos a repensar a forma como interagimos e exploramos as capacidades destes modelos sofisticados", concluíram.
Esperemos que façam experiências semelhantes quando o GPT-5 for lançado.
