AI överträffar människor när det gäller att göra moraliska bedömningar, enligt en ny studie från Georgia State's Psychology Department.
Den studie, ledd av Eyal Aharoni, docent och biträdande professor vid Georgia State’s Psychology Department, och publicerad i Nature Scientific ReportsSyftet med projektet var att undersöka hur språkmodeller hanterar etiska frågor.
Inspirerad av Turing testsom bedömer en maskins förmåga att uppvisa ett intelligent beteende som inte kan skiljas från en människas, utformade Aharoni en modifierad version med fokus på moraliskt beslutsfattande.
"Jag var redan intresserad av moraliskt beslutsfattande i rättssystemet, men jag undrade om ChatGPT och andra LLMs skulle kunna ha något att säga om det", säger Aharoni förklarade.
"Människor kommer att interagera med dessa verktyg på sätt som har moraliska konsekvenser, som de miljömässiga konsekvenserna av att be om en lista med rekommendationer för en ny bil. Vissa advokater har redan börjat använda sig av dessa tekniker i sina mål, på gott och ont. Så om vi vill använda de här verktygen bör vi förstå hur de fungerar, vilka begränsningar de har och att de inte nödvändigtvis fungerar på det sätt som vi tror när vi interagerar med dem."
Aharoni har rätt. Vi har redan sett ett par uppmärksammade fall där advokater, däribland ex-Trump advokat Michael Cohenav misstag använder AI-fabricerade citeringar.
Trots bristerna finns det de som aktivt stödjer generativ AI:s roll inom juridiken. Tidigare i år, till exempel, brittiska domare gav grönt ljus till att använda AI för att skriva juridiska utlåtanden.
Mot denna bakgrund undersöktes i denna studie GPT-4:s förmåga att göra moraliska bedömningar, vilket naturligtvis är viktigt inom juridik och andra områden:
- Steg 1: Grundutbildningsstudenter och AI fick samma uppsättning av 10 etiska frågor som involverade moraliska och konventionella överträdelser. De människogenererade svaren samlades in från ett urval av 68 universitetsstudenter, medan de AI-genererade svaren erhölls med hjälp av OpenAIGPT-4 språkmodell.
- Steg 2: De mänskliga svaren av högsta kvalitet och GPT-4-svaren parades ihop och presenterades sida vid sida för ett representativt urval av 299 US vuxna, som till en början var omedvetna om att GPT-4 genererade en uppsättning svar i varje par.
- Steg 3: Deltagarna bedömde den relativa kvaliteten på varje svarspar längs tio dimensioner (t.ex. dygdighet, intelligens, pålitlighet, enighet) utan att känna till källan till svaren.
- Steg 4: Efter att ha samlat in kvalitetsbedömningarna avslöjade forskarna att en chatbot som tränats i mänskligt språk genererade ett av svaren i varje par. Deltagarna ombads sedan att identifiera vilket svar som genererats av datorn och vilket som genererats av en människa.
- Steg 5: Deltagarna bedömde sitt förtroende för varje bedömning och lämnade skriftliga kommentarer som förklarade varför de trodde att det valda svaret var datorgenererat. Dessa kommentarer analyserades senare för att hitta gemensamma teman.
AI:s moraliska bedömningar var överlägsna för det mesta
Det är anmärkningsvärt att de AI-genererade svaren genomgående fick högre betyg avseende dygd, intelligens och pålitlighet. Deltagarna rapporterade också högre grad av enighet med AI-svaren än med de mänskliga svaren.
Dessutom identifierade deltagarna ofta AI-genererade svar korrekt i en takt som var betydligt högre än slumpen (80,1% av deltagarna gjorde korrekta identifieringar mer än hälften av tiden).
"När vi hade fått resultaten gjorde vi det stora avslöjandet och berättade för deltagarna att ett av svaren hade genererats av en människa och det andra av en dator, och bad dem gissa vilket svar som var vilket", säger Aharoni.
"Vändningen är att anledningen till att människor kunde se skillnaden verkar vara att de bedömde ChatGPTsvar som överlägsna."
Studien har några begränsningar, till exempel att den kontrollerade inte fullt ut för ytliga attribut som svarslängd, vilket oavsiktligt kunde ha gett ledtrådar för att identifiera AI-genererade svar. Forskare noterar också att AI:s moraliska bedömningar kan formas av fördomar i dess utbildningsdata och därmed variera i olika sociokulturella sammanhang.
Trots detta är denna studie ett användbart försök till AI-genererat moraliskt resonemang.
Som Aharoni förklarar: "Våra resultat får oss att tro att en dator tekniskt sett skulle kunna klara ett moraliskt Turing-test - att den skulle kunna lura oss i sitt moraliska resonemang. Därför måste vi försöka förstå dess roll i vårt samhälle, för det kommer att finnas tillfällen då människor inte vet att de interagerar med en dator, och tillfällen då de vet det och frågar datorn om information eftersom de litar mer på den än på andra människor."
"Människor kommer att förlita sig på den här tekniken mer och mer, och ju mer vi förlitar oss på den, desto större blir risken med tiden."
Det är en knepig fråga. Å ena sidan förutsätter vi ofta att datorer kan föra ett mer objektivt resonemang än vad vi kan.
När deltagarna i studien ombads förklara varför de trodde att AI genererade ett visst svar, var det vanligaste temat att AI-svaren uppfattades som mer rationella och mindre känslomässiga än mänskliga svar.
Men med tanke på de fördomar som skapas av träningsdata, hallucinationer och AI:s känslighet för olika intryck, är frågan om den har en sann "moralisk kompass" mycket tvetydig.
Denna studie visar åtminstone att AI:s bedömningar är övertygande i en Turing test scenario.
