Si estás buscando nuevas ideas, los modelos de IA como GPT-4 a menudo pueden aportar ideas geniales para añadir a tu lista. El problema es que la larga lista de ideas que genera a menudo contiene ideas muy similares, en lugar del pensamiento innovador que buscas.
Investigadores de la Wharton School de la Universidad de Pensilvania querían ver si había alguna forma de hacer que un modelo de IA como GPT-4 aportara ideas más diversas o novedosas durante el proceso de generación de ideas.
Los autores del trabajo, Lennart Meincke, Ethan Mollick y Christian Terwiesch, partieron de la hipótesis de que la GPT-4 tenía potencial para ser más creativa y que una estimulación inteligente podría desbloquear esa creatividad.
El experimento
El equipo diseñó un ejercicio en el que el objetivo era aportar ideas para un nuevo producto de consumo dirigido a estudiantes universitarios que costara $50 o menos.
Utilizaron diferentes estrategias para ver qué ideas se le ocurrían a GPT-4 y midieron su diversidad. A continuación, compararon la diversidad de las ideas generadas por la IA con las de los equipos de estudiantes de MBA.
Las estrategias de estímulo que utilizaron fueron
- Indicaciones mínimas
- Pedir al GPT-4 que asuma diferentes personajes
- Compartir ideas de pensamiento creativo de la literatura existente con GPT-4
- Utilizar la Cadena de Pensamiento (CoT) e instruir al LLM para que trabaje en múltiples pasos distintos.
🚨 Nuestro nuevo artículo: sabemos que GPT-4 genera mejores ideas que la mayoría de la gente, pero las ideas son bastante similares y la varianza importa.
Pero resulta que una mejor estimulación puede generar grupos de buenas ideas casi tan diversos como los de un grupo de seres humanos. https://t.co/LkGsU0VC7S pic.twitter.com/5BDx8A3E8Z
- Ethan Mollick (@emollick) 27 de enero de 2024
Resultados
La diversidad de ideas se midió con la métrica de similitud coseno. Esta métrica se utiliza habitualmente en el análisis de textos para medir el grado de similitud entre las ideas de una lista. Una medida de 1 significa que las ideas son muy similares, y que la diversidad de las ideas comparadas aumenta a medida que el valor tiende a cero.
El artículo señalaba que "los grupos de ideas generados por GPT-4 sin ningún estímulo especial son menos diversos que las ideas generadas por grupos de sujetos humanos". Los grupos de humanos tenían una similitud coseno de 0,243 frente a un rango de 0,255 a 0,432 para las ideas generadas por GPT-4 en función del estímulo.
He aquí un ejemplo de comparación de ideas.
Esto confirma que, aunque GPT-4 tiene algunas ideas muy buenas, muchas de ellas acaban siendo variaciones de la misma idea. Una victoria para el Equipo Humano. También se midió el número de buenas ideas y la rapidez con la que se agotaban.
Los investigadores descubrieron que el uso de instrucciones más largas daba lugar a una mayor diversidad en las ideas aportadas por GPT-4. La mejor estrategia fue el uso de CoT. La mejor estrategia fue el uso de CoT, que quedó muy cerca de los humanos, con una similitud coseno de 0,255.
Al pedir al GPT-4 que asumiera personajes, los resultados fueron desiguales y poco predecibles. Pedir al LLM que actuara como "Steve Jobs" (0,368) proporcionó ideas más diversas que una variación utilizando "Elon Musk" (0,385). Al pedirle que actuara como un "empresario creativo" se obtuvo una similitud coseno de 0,348.
Curiosamente, cuando se compararon las listas de ideas de los distintos temas, apenas se produjeron solapamientos entre ellas.
En un tuit, Ethan Mollick dijo: "Debo mencionar que no creo que hayamos descubierto (ni siquiera intentado descubrir) algún tipo de técnica de incitación asombrosa. Estamos argumentando que los principales límites asumidos de la ideación de la IA -genera ideas menos diversas que un grupo de personas y tiene menos ideas en general- no tienen por qué ser ciertos."
Por lo tanto, si quieres utilizar GPT-4 para ayudarte en tu próxima sesión de lluvia de ideas, puedes hacer algunas cosas para que sea más creativa. Utiliza preguntas más largas, añade algunas instrucciones de CoT, pídele que asuma algunos personajes y luego combina todas las ideas de las diferentes preguntas en una sola lista.
O, para obtener resultados aún mejores, puedes contratar a un grupo de estudiantes de MBA.
