Des chercheurs de l'université de Berkeley, en Californie, ont mis au point un système de prévision IA capable de prédire des événements futurs avec une précision similaire à celle de la sagesse des foules humaines.
Les LLM n'étant pas conçus pour la prévision d'événements, l'équipe a construit un système de prévision à partir de GPT-4 en utilisant une nouvelle approche appelée "raisonnement augmenté par la recherche".
Ce processus en plusieurs étapes a consisté à entraîner le GPT-4 à rechercher des informations pertinentes, à évaluer leur pertinence et à les intégrer dans son processus de raisonnement avant de faire une prédiction.
Voici comment cela fonctionne :
- Récupération: Le système d'IA utilise GPT-4 pour générer des requêtes de recherche basées sur la question de la prévision et les sous-questions, en récupérant un large ensemble d'articles de presse potentiellement pertinents.
- Évaluation de la pertinence: GPT-4 évalue la pertinence de chaque article retrouvé, en écartant les articles à faible score afin de réduire le nombre d'informations disponibles.
- Synthèse: Le GPT-4 résume chaque article à ses points clés, en se concentrant sur les détails liés à la question de la prévision.
- Raisonnement: À l'aide de "messages-guides", GPT-4 analyse les articles résumés et produit une prévision détaillée accompagnée d'une justification explicative. Ces invites guident le processus de réflexion du modèle, encourageant une approche systématique du raisonnement.
L'équipe de Berkeley a ensuite poussé le système un peu plus loin en procédant à un réglage fin auto-supervisé.
Ils ont généré un grand nombre de prévisions d'IA sur des questions passées dont les réponses étaient connues et ont sélectionné des exemples où l'IA avait surpassé la "sagesse de la foule", définie comme l'ensemble des prédictions des prévisionnistes humains.
En affinant GPT-4 sur ces exemples, les chercheurs ont appris au modèle à émuler les schémas de raisonnement qui ont permis d'obtenir les meilleures prévisions.
Résultats
Testée sur des questions de prévision à partir de juin 2023, l'IA a obtenu un score de Brier de 0,179, contre un score de 0,149 pour le prévisionniste humain.
L'IA a été particulièrement performante sur les questions à forte incertitude humaine au début du processus de prévision et lorsqu'elle avait accès à un nombre suffisant d'articles pertinents sur un sujet particulier.
(b) Lorsque les personnes ne sont pas sûres de leurs prédictions (niveaux de confiance entre 0,3 et 0,7), le système fait mieux, avec un score de Brier de 0,199 contre 0,246. Cependant, lorsque les personnes sont très sûres d'elles (prédictions inférieures à 0,05), elles obtiennent de meilleurs résultats que notre système.
(c) La précision du système est plus élevée au début de la collecte d'informations. Source : ArXiv (accès libre).
Les auteurs écrivent dans le étudeÀ notre connaissance, il s'agit du premier système automatisé dont la capacité de prévision se rapproche du niveau de la foule humaine, qui est généralement plus forte que celle des prévisionnistes humains.
Il y a eu une petite bizarrerie : le système a semblé s'améliorer avec plus d'articles et donc plus de certitude dans les prévisions. Cela pourrait s'expliquer par le fait que le modèle "couvre" ses prévisions.
Les chercheurs décrivent ce phénomène comme suit : "Nous supposons que cela provient de la tendance de notre modèle à couvrir les prédictions en raison de sa formation à la sécurité".
Implications
Selon les chercheurs, les décideurs politiques, les entreprises et les responsables de la santé publique pourraient tous bénéficier de cette forme de prévision linguistique de l'IA.
"À l'avenir, les décideurs politiques pourraient consulter les IA sur les actions les plus susceptibles de produire les résultats souhaités", déclare Dan Hendrycks du Center for AI Safety en Californie.
Il propose que des modèles de prédiction permettent de faire face aux risques à venir posés par l'IA. "Les robots de prévision nous aideraient à anticiper et à éviter ces risques", explique M. Hendrycks. a déclaré au New Scientist.
D'autres tentatives ont été faites pour prédire les événements complexes de la vie à l'aide de l'IA, notamment un modèle formé par des chercheurs danois pour prédire les événements de la vie. prédire les risques de décès prématuré.
L'exploitation de l'IA pour des applications prédictives qui affectent la vie des gens pose des questions éthiques, notamment celle de la transparence, de l'impartialité et du fondement éthique de ces systèmes.
Cette nouvelle étude de Berkeley montre comment l'IA peut faire des prévisions efficaces, mais nous ne pouvons pas évaluer la précision avec laquelle elle prend ses décisions.
L'utilisation de l'IA pour prédire des événements sociétaux et individuels majeurs peut sembler un concept dystopique, mais c'est déjà une pratique répandue dans de nombreuses régions du monde.
Dans plusieurs pays démocratiques, dont les États-Unis, le Royaume-Uni, le Brésil, l'Australie et les Pays-Bas, l'IA est utilisée pour police, la surveillance, et la prise de décision en matière d'aide sociale.
Une IA pourrait-elle prédire certains aspects de votre avenir en ce moment même ? C'est tout à fait possible.
