Os investigadores da Universidade de Berkeley, na Califórnia, desenvolveram um sistema de previsão de IA para prever acontecimentos futuros com uma precisão semelhante à sabedoria humana.
Uma vez que os LLM não são concebidos especificamente para a previsão de eventos, a equipa construiu um sistema de previsão com base no GPT-4, utilizando uma nova abordagem denominada raciocínio aumentado por recuperação.
Este processo de várias etapas envolveu o treino do GPT-4 para procurar informação pertinente, avaliar a sua relevância e integrá-la no seu processo de raciocínio antes de fazer uma previsão.
Eis como funciona:
- Recuperação: O sistema de IA utiliza o GPT-4 para gerar consultas de pesquisa com base na pergunta e subperguntas de previsão, recuperando um vasto conjunto de artigos de notícias potencialmente relevantes.
- Avaliação da pertinência: O GPT-4 avalia a relevância de cada artigo recuperado, descartando artigos com baixa pontuação para reduzir o conjunto de informações.
- Sumarização: O GPT-4 reduz cada artigo aos seus pontos-chave, concentrando-se nos pormenores relacionados com a questão da previsão.
- Raciocínio: A partir de "instruções de rascunho", o GPT-4 analisa os artigos resumidos e produz uma previsão pormenorizada com uma justificação explicativa. Estas instruções guiam o processo de pensamento do modelo, encorajando uma abordagem sistemática do raciocínio.
A equipa de Berkeley levou então o sistema um passo mais longe, com um ajuste fino auto-supervisionado.
Geraram um grande número de previsões de IA sobre questões passadas com respostas conhecidas e seleccionaram exemplos em que a IA tinha superado a "sabedoria da multidão" - definida como as previsões agregadas de analistas humanos.
Ao afinar o GPT-4 com estes exemplos, os investigadores ensinaram o modelo a emular os padrões de raciocínio que criaram as melhores previsões.
Resultados
Quando testada em questões de previsão a partir de junho de 2023, a IA alcançou uma pontuação Brier de 0,179, em comparação com a pontuação humana de 0,149.
A IA teve um desempenho particularmente bom em questões com elevada incerteza humana no início do processo de previsão e quando teve acesso a um número suficiente de artigos relevantes sobre um determinado tópico.
(b) Quando as pessoas não têm a certeza das suas previsões (níveis de confiança entre 0,3 e 0,7), o sistema sai-se melhor, com uma pontuação de Brier de 0,199 em comparação com os seus 0,246. No entanto, quando as pessoas estão muito seguras (previsões inferiores a 0,05), saem-se melhor do que o nosso sistema.
(c) A precisão do sistema é maior no início da recolha de informações. Fonte: ArXiv (acesso livre).
Os autores escrevem no estudo"Tanto quanto sabemos, este é o primeiro sistema automatizado com capacidade de previsão que se aproxima do nível da multidão humana, que é geralmente mais forte do que os previsores humanos individuais".
Houve uma pequena peculiaridade, pois o sistema pareceu piorar com mais artigos para trabalhar e, portanto, com maior certeza sobre a previsão. Isto pode dever-se ao facto de o modelo "proteger" as suas previsões.
Os investigadores descrevem-no da seguinte forma: "A nossa hipótese é que este facto se deve à tendência do nosso modelo para fazer previsões de cobertura devido à sua formação em segurança."
Implicações
De acordo com os investigadores, os decisores políticos, as empresas e os responsáveis pela saúde pública poderão beneficiar desta forma de previsão de IA baseada na língua.
"No futuro, os decisores políticos poderão consultar as IAs sobre as acções que mais provavelmente produzirão os resultados desejados", afirma Dan Hendrycks, do Center for AI Safety, na Califórnia.
Propõe que os modelos de previsão possam fazer face aos perigos futuros colocados pela IA. "Os bots de previsão ajudar-nos-iam a antecipar e a evitar estes riscos", afirma Hendrycks disse ao New Scientist.
Foram feitas outras tentativas para prever acontecimentos complexos da vida com a IA, incluindo um modelo treinado por investigadores dinamarqueses para prever os riscos de morte prematura.
O aproveitamento da IA para aplicações preditivas que afectam a vida das pessoas coloca questões éticas, tais como a garantia de que estes sistemas são transparentes, imparciais e eticamente fundamentados.
Este novo estudo de Berkeley descreve como a IA pode fazer previsões eficazes, mas não podemos avaliar a precisão com que chega às suas decisões.
A utilização da IA para prever grandes acontecimentos sociais e individuais pode parecer um conceito distópico, mas é já uma prática generalizada em muitas partes do mundo.
Em vários países democráticos, incluindo os EUA, o Reino Unido, o Brasil, a Austrália e os Países Baixos, a IA é utilizada para policiamentovigilância, e tomada de decisões em matéria de bem-estar.
Poderá uma IA estar a prever aspectos do seu futuro neste preciso momento? É certamente possível.
