En studie utförd av Universitetet i Stavanger i Norge visar att stora språkmodeller (LLM) från AI överträffade människor i tester som utformats för att mäta kreativt tänkande.
Forskarna ställde 256 frivilliga människor mot tre AI-chattbottar - ChatGPT3, ChatGPT4 och Copy.Ai (baserad på GPT-3) - för att generera alternativa användningsområden för vardagliga föremål som rep, lådor, pennor och ljus.
Studien mäter divergent tänkande med hjälp av Alternate Uses Task (AUT), som utvecklades av psykologen J.P. Guilford 1967.
Tanken är att deltagarna ska komma på så många användningsområden för enkla föremål som möjligt under en viss tidsperiod. Ett gem kan t.ex. användas som dyrk eller graveringsverktyg.
AI överträffade i allmänhet människor i uppgiften. "Det här är verkligen en anmärkningsvärd typ av förmåga som AI-chattbottar uppvisar", säger Simone Grassini, studiens författare. "Resultaten visar att AI är bättre än de flesta människor på kreativt tänkande."
Både de mänskliga deltagarna och AI-deltagarna följde samma instruktioner, som betonade vikten av kreativ kvalitet framför mängden idéer.
Chatbottarna testades 11 gånger med fyra olika objektfrågor. Vissa justeringar gjordes för att jämställa antalet idéer som genererades av chatbottar med dem från mänskliga deltagare.
Även om chatbottarna i genomsnitt fick högre poäng i uppgifter som rörde divergent tänkande, visade undersökningen också att de mest innovativa idéerna som genererats av människor matchade eller överträffade AI-chatbotarnas idéer.
"Våra resultat visar att de bästa människorna, åtminstone för närvarande, fortfarande överträffar AI", tillade Grassini.
Detta är avslöjande - människor kan producera verklig kvalitet, men inte lika snabbt som AI, vilket är vad du troligen förväntar dig.
Den studiesom publicerades i Nature, visar att AI-genererade svar fick högre poäng än mänskliga svar i kategorier som semantiskt avstånd och kreativitet.
Människor var dock fortfarande bättre än chatbottar i sju av åtta poängkategorier när det gäller de bästa individuella svaren.
"Jag visste att chatboten skulle ha presterat bra, men jag tror att den presterade ännu bättre än vad jag förväntade mig", säger Grassini.
Trots de lovande resultaten betonade forskarna att den mänskliga kreativitetens unika komplexitet kan vara en utmaning för AI att helt replikera eller överträffa.
Grassini avslutade med att säga: "Det återstår fortfarande att se om AI:s kapacitet kommer att översättas direkt till AI-system och ersätta mänskliga jobb som kräver kreativt tänkande. Jag föredrar att tro att AI kommer att hjälpa människor att förbättra sin kapacitet."
Mer om studien
Studien visade att AI kan använda nya och innovativa metoder för att besvara kreativa frågor.
Även om de allra bästa svaren fortfarande var av mänskligt ursprung, var människor mycket mer benägna att fluktuera i koncentration och andra faktorer som hindrade dem från att uppnå samma bredd som AI-genererade svar.
Så här gick det till:
- Metodik: I studien användes AUT (Alternate Uses Task), ett sedan länge etablerat test för divergent tänkande och kreativitet. Deltagarna bestod av 256 människor och tre avancerade AI-chatbottar. De ombads att tänka på ovanliga och kreativa användningsområden för vardagliga föremål, och både människornas och AI:s svar utvärderades utifrån deras originalitet och användbarhet.
- Jämförelse av prestanda: I genomsnitt överträffade AI-chattbottar de mänskliga deltagarna i både genomsnittlig och maximal kreativitetspoäng. De människor som presterade bäst kunde dock fortfarande matcha eller överträffa AI-chattbotarnas kreativitetsnivåer.
- Skillnader mellan AI och människor: Studien visade att mänskliga deltagare ofta underpresterade på grund av att de tappade uppmärksamheten halvvägs genom uppgiften. AI utförde däremot uppgiften utan att tröttna, vilket bidrog till en generellt högre prestation.
- Styrkor och svagheter med AI och mänsklig kreativitet: Studien visar att AI:s höga genomsnittliga prestanda förklaras av att de har tillgång till större beräkningsresurser. De kan i huvudsak beräkna mer rimliga alternativa användningsområden för objekt, vilket ger dem en större chans att välja ut de mest ovanliga användningsområdena.
- Begränsningar och framtida inriktning: Studien har vissa begränsningar, t.ex. att det inte finns någon demografisk mångfald bland de mänskliga deltagarna. Dessutom används bara ett kreativitetstest i medelåldern, vilket naturligtvis är begränsat i omfattning.
Forskare skapar nya metoder för att jämföra AI:s och människans sätt att hantera tester, frågor och andra uppgifter.
En nyligen genomförd studie visade att ChatGPT överträffade eleverna i nio av 32 ämnen - Men det är nog goda nyheter för mänskligheten.
Vi är fortfarande en generation av AI ifrån att tekniken helt och hållet slår oss.
