Investigadores de la Universidad de Berkeley (California) desarrollaron un sistema de previsión artificial para predecir acontecimientos futuros con una exactitud similar a la de la sabiduría popular humana.
Dado que los LLM no están diseñados específicamente para la predicción de sucesos, el equipo creó un sistema de predicción basado en GPT-4 utilizando un método novedoso denominado razonamiento de recuperación aumentada.
Este proceso de varios pasos implicaba entrenar a GPT-4 para que buscara información pertinente, evaluara su relevancia y la integrara en su proceso de razonamiento antes de realizar una predicción.
Así es como funciona:
- Recuperación: El sistema de IA utiliza GPT-4 para generar consultas de búsqueda basadas en la pregunta de previsión y las subpreguntas, recuperando un amplio conjunto de artículos de noticias potencialmente relevantes.
- Evaluación de la pertinencia: GPT-4 evalúa la pertinencia de cada artículo recuperado, descartando los artículos de baja puntuación para reducir el conjunto de información.
- Resumen: GPT-4 reduce cada artículo a sus puntos clave, centrándose en los detalles relacionados con la pregunta de previsión.
- Razonamiento: GPT-4 analiza los artículos resumidos y elabora un pronóstico detallado con una explicación razonada. Estas indicaciones guían el proceso de razonamiento del modelo, fomentando un enfoque sistemático del razonamiento.
A continuación, el equipo de Berkeley llevó el sistema un paso más allá con un ajuste fino autosupervisado.
Generaron un gran número de pronósticos de IA sobre preguntas anteriores con respuestas conocidas y seleccionaron ejemplos en los que la IA había superado la "sabiduría de la multitud", definida como las predicciones agregadas de los pronosticadores humanos.
Al ajustar GPT-4 a estos ejemplos, los investigadores enseñaron al modelo a emular los patrones de razonamiento que generaban las mejores previsiones.
Resultados
Cuando se sometió a pruebas de previsión a partir de junio de 2023, la IA obtuvo una puntuación Brier de 0,179, frente a la puntuación de 0,149 del pronosticador humano.
La IA funcionó especialmente bien en preguntas con una elevada incertidumbre humana al principio del proceso de previsión y cuando tuvo acceso a suficientes artículos relevantes sobre un tema concreto.
(b) Cuando las personas no están seguras de sus predicciones (niveles de confianza entre 0,3 y 0,7), el sistema obtiene mejores resultados, con una puntuación Brier de 0,199 frente a la suya de 0,246. Sin embargo, cuando las personas están muy seguras (predicciones por debajo de 0,05), obtienen mejores resultados que nuestro sistema. Sin embargo, cuando las personas están muy seguras (predicciones por debajo de 0,05), obtienen mejores resultados que nuestro sistema.
(c) La precisión del sistema es mayor al principio de la recogida de información. Fuente: ArXiv (acceso abierto).
Los autores escriben en el estudiar"Que sepamos, es el primer sistema automatizado con capacidad de previsión que se acerca al nivel de la multitud humana, que suele ser más fuerte que los pronosticadores humanos individuales".
Hubo una pequeña peculiaridad, ya que el sistema pareció empeorar con más artículos a partir de los cuales trabajar y, por tanto, mayor certeza sobre la previsión. Esto puede deberse a que el modelo "cubre" sus predicciones.
Los investigadores lo describen de la siguiente manera: "Nuestra hipótesis es que esto se debe a la tendencia de nuestro modelo a cubrir las predicciones debido a su entrenamiento en seguridad".
Implicaciones
Según los investigadores, los responsables políticos, las empresas y los funcionarios de salud pública podrían beneficiarse de esta forma de previsión de la IA basada en el lenguaje.
"En el futuro, los responsables políticos podrán consultar a las IA sobre qué acciones tendrían más probabilidades de producir los resultados deseados", afirma Dan Hendrycks, del Centro para la Seguridad de la IA de California.
Hendrycks propone modelos de predicción para hacer frente a los riesgos que plantea la IA. "Los robots de predicción nos ayudarían a anticipar y evitar estos riesgos", afirma Hendrycks. dijo a New Scientist.
Se han hecho otros intentos de predecir acontecimientos vitales complejos con IA, incluido un modelo entrenado por investigadores daneses para predecir los riesgos de muerte prematura.
Aprovechar la IA para aplicaciones predictivas que afectan a la vida de las personas plantea cuestiones éticas, como garantizar que estos sistemas sean transparentes, imparciales y tengan un fundamento ético.
Este nuevo estudio de Berkeley esboza cómo la IA puede hacer previsiones eficaces, pero no podemos calibrar con qué precisión llega a sus decisiones.
El uso de la IA para predecir grandes acontecimientos sociales e individuales puede parecer un concepto distópico, pero ya es una práctica extendida en muchas partes del mundo.
En varios países democráticos, como EE.UU., el Reino Unido, Brasil, Australia y los Países Bajos, la IA se utiliza para vigilancia policialvigilancia y toma de decisiones en materia de bienestar.
¿Podría una IA estar prediciendo aspectos de tu futuro ahora mismo? Sin duda, es posible.
