Investigadores del Departamento de Economía de la Universidad de Baylor experimentaron con ChatGPT para probar su capacidad de predecir acontecimientos futuros. Su ingenioso método de sugerencia eludió las barreras de OpenAI y ofreció resultados sorprendentemente precisos.
Los modelos de IA son, por naturaleza, motores predictivos. ChatGPT utiliza esta capacidad predictiva para hacer la mejor estimación de la siguiente palabra que debe salir en respuesta a su solicitud.
¿Podría ampliarse esta capacidad predictiva a prever acontecimientos del mundo real? En el experimento descrito en su papelPham Hoang Van y Scott Cunningham pusieron a prueba la capacidad de ChatGPT.
Para ello, preguntaron a los modelos ChatGPT-3.5 y ChatGPT-4 sobre acontecimientos ocurridos en 2022. Las versiones del modelo que utilizaron solo tenían datos de entrenamiento hasta septiembre de 2021, por lo que en realidad estaban pidiendo a los modelos que miraran hacia "el futuro", ya que no tenían conocimiento de los acontecimientos más allá de sus datos de entrenamiento.
Cuéntame una historia
Los términos de servicio de OpenAI utilizan algunos párrafos de jerga legal para decir esencialmente que no está permitido utilizar ChatGPT para intentar predecir el futuro.
Si se le pide directamente a ChatGPT que pronostique acontecimientos como los ganadores de los Oscar o factores económicos, la mayoría de las veces se niega a hacer siquiera una conjetura.
Los investigadores descubrieron que cuando se le pide a ChatGPT que componga una historia ficticia ambientada en el futuro en la que los personajes relatan lo que ocurrió en "el pasado", lo hace encantado.
Los resultados de ChatGPT-3.5 fueron un poco irregulares, pero el artículo señala que las predicciones de ChatGPT-4 "se vuelven inusualmente precisas... cuando se les pide que cuenten historias del pasado ambientadas en el futuro".
Este es un ejemplo de las indicaciones directas y narrativas que utilizaron los investigadores para que ChatGPT hiciera predicciones sobre los Oscar de 2022. Los modelos fueron incitados 100 veces y luego se cotejaron sus predicciones para obtener una media de sus pronósticos.
El ganador de 2022 al mejor actor de reparto fue Troy Kotsur. Con preguntas directas, ChatGPT-4 eligió a Kotsur 25% de las veces, y un tercio de sus respuestas a las 100 pruebas se negaron a responder o dijeron que era posible que hubiera varios ganadores.
En respuesta a la pregunta narrativa, ChatGPT-4 eligió correctamente a Kotsur el 100% de las veces. La comparación entre el enfoque directo y el narrativo tuvo resultados igualmente impresionantes con otras predicciones. He aquí algunos más.
Cuando utilizaron un método similar para que ChatGPT pronosticara cifras económicas como el desempleo mensual o las tasas de inflación, los resultados fueron interesantes.
El enfoque directo suscitó la negativa de ChatGPT a ofrecer cifras mensuales. Sin embargo, "cuando se le pide que cuente una historia en la que Jerome Powell relata los datos futuros de desempleo e inflación de un año, como si estuviera hablando de los acontecimientos del pasado, las cosas cambian sustancialmente."
Los investigadores descubrieron que incitar a ChatGPT a centrarse en contar una historia interesante en la que la tarea de predicción era secundaria marcaba la diferencia en la precisión de la predicción de ChatGPT.
Cuando se les preguntó utilizando el enfoque narrativo, las predicciones mensuales de inflación de ChatGPT-4 fueron por término medio comparables a las cifras de la encuesta de expectativas de los consumidores de la Universidad de Michigan.
Curiosamente, las predicciones de ChatGPT-4 se acercaban más a las predicciones de los analistas que las cifras reales que se registraron finalmente para esos meses. Esto sugiere que, si se le pregunta adecuadamente, ChatGPT podría hacer el trabajo de previsión de un analista económico al menos igual de bien.
Los investigadores concluyeron que la tendencia de ChatGPT a alucinar podría considerarse una forma de creatividad que podría aprovecharse con indicaciones estratégicas para convertirla en una potente máquina de predicción.
"Esta revelación abre nuevas vías para la aplicación de los LLM en la previsión económica, la planificación política y más allá, desafiándonos a repensar cómo interactuamos y explotamos las capacidades de estos sofisticados modelos", concluyen.
Esperemos que realicen experimentos similares cuando llegue la GPT-5.
