Volgens een nieuw onderzoek van de afdeling Psychologie van Georgia State presteert AI beter dan mensen bij het maken van morele oordelen.
De onderzoekonder leiding van Eyal Aharoni, universitair hoofddocent bij Georgia State’s Psychology Departmenten gepubliceerd in Nature Scientific Reportshad als doel om te onderzoeken hoe taalmodellen omgaan met ethische vragen.
Geïnspireerd door de Turing testdie het vermogen van een machine beoordeelt om intelligent gedrag te vertonen dat niet te onderscheiden is van dat van een mens, ontwierp Aharoni een aangepaste versie die zich richtte op morele besluitvorming.
"Ik was al geïnteresseerd in morele besluitvorming in het rechtssysteem, maar ik vroeg me af of ChatGPT en andere LLMs daar iets over te zeggen zou kunnen hebben," Aharoni verklaarde.
"Mensen zullen met deze tools omgaan op manieren die morele implicaties hebben, zoals de gevolgen voor het milieu van het vragen om een lijst met aanbevelingen voor een nieuwe auto. Sommige advocaten zijn al begonnen met het raadplegen van deze technologieën voor hun zaken, ten goede of ten kwade. Dus als we deze tools willen gebruiken, moeten we begrijpen hoe ze werken, wat hun beperkingen zijn en dat ze niet noodzakelijkerwijs werken op de manier waarop we denken wanneer we ermee interageren."
Aharoni heeft gelijk. We hebben al een paar geruchtmakende incidenten gezien van advocaten, waaronder ex-Trump advocaat Michael Cohenper ongeluk met AI-gefabriceerde citaten.
Ondanks de tekortkomingen zijn er mensen die de rol van generatieve AI in de wet actief ondersteunen. Eerder dit jaar, bijvoorbeeld, hebben Britse rechters gaf groen licht om AI te gebruiken om juridische adviezen te schrijven.
Tegen deze achtergrond onderzocht dit onderzoek het vermogen van GPT-4 om morele oordelen te vellen, die natuurlijk van vitaal belang zijn in de wet en op andere gebieden:
- Stap 1: Aan studenten en AI werd dezelfde set van 10 ethische vragen gesteld over morele en conventionele overtredingen. De door mensen gegenereerde antwoorden werden verzameld uit een steekproef van 68 universiteitsstudenten, terwijl de door AI gegenereerde antwoorden werden verkregen met behulp van OpenAIGPT-4 taalmodel.
- Stap 2: De menselijke antwoorden van de hoogste kwaliteit en de GPT-4-antwoorden werden aan elkaar gekoppeld en naast elkaar gepresenteerd aan een representatieve steekproef van 299 respondenten. US volwassenen, die zich aanvankelijk niet bewust waren van het feit dat GPT-4 één set reacties genereerde in elk paar.
- Stap 3: Deelnemers beoordeelden de relatieve kwaliteit van elk antwoordpaar volgens tien dimensies (bijv. deugdzaamheid, intelligentie, betrouwbaarheid, overeenstemming) zonder de bron van de antwoorden te kennen.
- Stap 4: Na het verzamelen van de kwaliteitsbeoordelingen onthulden de onderzoekers dat een computerchatbot getraind in menselijke taal een van de antwoorden in elk paar had gegenereerd. Deelnemers werden vervolgens gevraagd om te identificeren welk antwoord was gegenereerd door de computer en welk antwoord was gegenereerd door een mens.
- Stap 5: Deelnemers beoordeelden hun vertrouwen in elk oordeel en gaven schriftelijk commentaar waarom ze dachten dat het geselecteerde antwoord door de computer was gegenereerd. Deze opmerkingen werden later geanalyseerd op gemeenschappelijke thema's.
De morele oordelen van AI waren meestal superieur
Opmerkelijk was dat de AI-antwoorden consistent hogere waarderingen kregen voor deugdzaamheid, intelligentie en betrouwbaarheid. Deelnemers waren het ook meer eens met de AI-antwoorden dan met de menselijke antwoorden.
Verder identificeerden deelnemers de door de AI gegenereerde antwoorden vaak correct met een percentage dat significant boven het toeval lag (80,1% van de deelnemers identificeerde meer dan de helft van de tijd correct).
"Nadat we deze resultaten hadden, deden we de grote onthulling en vertelden we de deelnemers dat één van de antwoorden was gegenereerd door een mens en het andere door een computer, en vroegen we hen te raden welke de juiste was," zei Aharoni.
"De twist is dat de reden waarom mensen het verschil konden zien lijkt te zijn omdat ze ChatGPTantwoorden als superieur."
Het onderzoek heeft een paar beperkingen, bijvoorbeeld niet volledig controleerde voor oppervlakkige kenmerken zoals de lengte van reacties, die onbedoeld aanwijzingen hadden kunnen geven voor het identificeren van AI-gegenereerde reacties. Onderzoekers merken ook op dat De morele oordelen van AI kunnen worden gevormd door vooroordelen in de trainingsgegevens, waardoor ze variëren in sociaal-culturele contexten.
Desalniettemin is deze studie een nuttig voorproefje van AI-gegenereerd moreel redeneren.
Aharoni legt uit: "Onze bevindingen doen ons geloven dat een computer technisch gezien een morele Turing test zou kunnen doorstaan - dat hij ons voor de gek zou kunnen houden in zijn morele redenering. Daarom moeten we de rol van de computer in onze samenleving proberen te begrijpen, want er zullen momenten zijn waarop mensen niet weten dat ze met een computer communiceren en er zullen momenten zijn waarop ze het wel weten en de computer zullen raadplegen voor informatie omdat ze er meer vertrouwen in hebben dan in andere mensen."
"Mensen gaan steeds meer op deze technologie vertrouwen en hoe meer we erop vertrouwen, hoe groter het risico na verloop van tijd wordt."
Het is een lastige. Aan de ene kant denken we vaak dat computers objectiever kunnen redeneren dan wij.
Wanneer deelnemers aan het onderzoek werd gevraagd uit te leggen waarom ze dachten dat AI een bepaalde reactie genereerde, was het meest voorkomende thema dat AI-reacties als rationeler en minder emotioneel werden ervaren dan menselijke reacties.
Maar gezien de vooringenomenheid van trainingsgegevens, hallucinaties en de gevoeligheid van AI voor verschillende inputs, is de vraag of het een echt 'moreel kompas' heeft erg ambigu.
Dit onderzoek laat in ieder geval zien dat AI's oordelen dwingend zijn in een Turing test scenario.
