Se estiver a fazer um brainstorming de novas ideias, os modelos de IA, como o GPT-4, podem frequentemente apresentar algumas ideias excelentes para adicionar à sua lista. O problema é que a longa lista de ideias que gera contém frequentemente ideias muito semelhantes, em vez do pensamento inovador que procura.
Os investigadores da Wharton School, da Universidade da Pensilvânia, queriam ver se havia uma forma de fazer com que um modelo de IA como o GPT-4 fornecesse ideias mais diversificadas, ou novas, durante o processo de geração de ideias.
Os autores do estudo, Lennart Meincke, Ethan Mollick e Christian Terwiesch, partiram da hipótese de que a GPT-4 tinha potencial para ser mais criativa e que um estímulo inteligente poderia desbloquear essa criatividade.
A experiência
A equipa concebeu um exercício em que o objetivo era apresentar ideias para um novo produto de consumo destinado a estudantes universitários que custasse $50 ou menos.
Utilizaram diferentes estratégias de estímulo para ver quais as ideias que a GPT-4 conseguia apresentar e mediram a sua diversidade. Em seguida, compararam a diversidade das ideias geradas pela IA com as ideias apresentadas por equipas de estudantes de MBA.
As estratégias de estímulo que utilizaram foram as seguintes
- Solicitação mínima
- Solicitar ao GPT-4 que assuma diferentes personas
- Partilhar ideias de pensamento criativo da literatura existente com o GPT-4
- Utilizar o estímulo da Cadeia de Pensamento (CoT) e dar instruções ao LLM para trabalhar em várias etapas distintas
O nosso novo artigo: sabemos que o GPT-4 gera melhores ideias do que a maioria das pessoas, mas as ideias são semelhantes e a variação é importante
Mas acontece que um melhor estímulo pode gerar conjuntos de boas ideias que são quase tão diversos como os de um grupo de humanos https://t.co/LkGsU0VC7S pic.twitter.com/5BDx8A3E8Z
- Ethan Mollick (@emollick) 27 de janeiro de 2024
Resultados
A diversidade das ideias foi medida utilizando a métrica de similaridade Cosine. Esta métrica é habitualmente utilizada na análise de textos para medir a semelhança entre os itens das listas em termos das suas ideias. Uma medida de 1 significa que as ideias são muito semelhantes, com a diversidade das ideias comparadas a aumentar à medida que o valor tende para zero.
O artigo refere que "os grupos de ideias gerados pelo GPT-4 sem qualquer estímulo especial são menos diversificados do que as ideias geradas por grupos de seres humanos". Os grupos de seres humanos tinham uma semelhança de cosseno de 0,243 em comparação com um intervalo de 0,255 a 0,432 para as ideias geradas pelo GPT-4, dependendo do estímulo.
Eis um exemplo de comparação de ideias.
Isto confirma que, embora o GPT-4 apresente algumas ideias muito boas, muitas delas acabam por ser variações da mesma ideia. Uma vitória para a Equipa Humana. O número de boas ideias e a rapidez com que o conjunto de ideias foi esgotado também foram medidos.
Os investigadores descobriram que a utilização de instruções mais longas resultou numa maior diversidade nas ideias apresentadas pelo GPT-4. A melhor estratégia foi a utilização de CoT, que ficou muito perto dos humanos, com uma semelhança de Cosine de 0,255.
Pedir ao GPT-4 para assumir personas teve resultados mistos com pouca previsibilidade. Pedir ao GPT-4 para atuar como "Steve Jobs" (0,368) produziu ideias mais diversificadas do que uma variação utilizando "Elon Musk" (0,385). Pedir ao LLM para atuar como um "empresário criativo" produziu uma semelhança cosseno de 0,348.
Curiosamente, quando se compararam as listas de ideias dos diferentes convites, houve pouca sobreposição entre elas.
Num tweet, Ethan Mollick disse: "Devo mencionar que não penso que tenhamos descoberto (ou sequer tentado descobrir) algum tipo de técnica de estímulo espantosa. Estamos a argumentar que os principais limites assumidos da ideação da IA - gera menos ideias diversas do que um grupo de pessoas e tem menos ideias em geral - não precisam de ser verdadeiros."
Assim, se quiser utilizar o GPT-4 para ajudar na sua próxima sessão de brainstorming, há algumas coisas que pode fazer para o tornar mais criativo. Utilize sugestões mais longas, inclua algumas instruções de CoT, peça-lhe para assumir algumas personas e, em seguida, combine todas as ideias das diferentes sugestões numa única lista.
Ou, para obter resultados ainda melhores, pode contratar um grupo de estudantes de MBA.
