Onderzoekers van de Universiteit van Würzburg en het Max-Planck Instituut voor Menselijke Ontwikkeling hebben een AI-model getraind om leugens op te sporen en het zou de manier waarop we met elkaar omgaan kunnen verstoren.
Mensen zijn niet goed in het vertellen of iemand liegt of de waarheid spreekt. Experimenten tonen aan dat onze hit rate op zijn best rond de 50% ligt en deze slechte prestaties bepalen hoe we met elkaar omgaan.
De truth-default theory (TDT) zegt dat mensen meestal aannemen dat wat iemand hen vertelt waar is. De sociale kosten om de persoon een leugenaar te noemen is een te groot risico met ons 50/50 leugendetectievermogen en fact-checking is niet altijd praktisch op het moment zelf.
Polygraaftests en andere leugendetectieapparatuur kunnen gegevens oppikken zoals stressindicatoren en oogbewegingen, maar het is niet waarschijnlijk dat je zo'n apparaat in je volgende gesprek zult gebruiken. Kan AI helpen?
Het papier wordt uitgelegd hoe het onderzoeksteam Google's BERT LLM heeft getraind om te detecteren wanneer mensen liegen.
De onderzoekers rekruteerden 986 deelnemers en vroegen hen om hun weekendplannen te beschrijven met een vervolguitleg die het waarheidsgehalte van hun verklaring ondersteunde.
Vervolgens kregen ze de weekendplannen van een andere deelnemer te zien en werd hen gevraagd om een valse ondersteunende verklaring te schrijven waarin ze stelden dat dit in feite hun plannen voor het weekend waren.
BERT werd getraind op 80% van de 1.536 verklaringen en kreeg vervolgens de taak om het waarheidsgehalte van de rest van de verklaringen te beoordelen.
Het model was in staat om nauwkeurig een uitspraak als waar of onwaar te bestempelen met een nauwkeurigheid van 66,86%, aanzienlijk beter dan de menselijke juryleden die een nauwkeurigheid van 46,47% behaalden in verdere experimenten.
Zou jij een AI-leugendetector gebruiken?
De onderzoekers ontdekten dat toen deelnemers de optie kregen om het AI-leugenopsporingsmodel te gebruiken, slechts een derde besloot om op het aanbod in te gaan.
Degenen die ervoor kozen om het algoritme te gebruiken, volgden bijna altijd de algoritmische voorspelling door de uitspraak als waar te accepteren of door een beschuldiging van liegen te uiten.
Deelnemers die om algoritmische voorspellingen vroegen, vertoonden beschuldigingspercentages van bijna 85% wanneer het suggereerde dat de bewering onjuist was. De basislijn van degenen die geen machinale voorspellingen vroegen was 19.71%.
Mensen die openstaan voor het idee van een AI-leugendetector zullen eerder BS roepen als ze het rode lampje zien knipperen.
De onderzoekers suggereren dat "Een plausibele verklaring is dat een beschikbaar algoritme voor leugendetectie de mogelijkheid biedt om de verantwoordelijkheid voor beschuldigingen over te dragen van jezelf naar het machine-leersysteem."
'Ik noem jou geen leugenaar, dat doet de machine.'
Dit verandert alles
Wat zou er in onze samenleving gebeuren als mensen elkaar 4 keer zo vaak leugenaars zouden noemen?
De onderzoekers concludeerden dat als mensen op AI zouden vertrouwen als de scheidsrechter van de waarheid, dit een sterk verstorend potentieel zou kunnen hebben.
De krant merkte op dat "hoge beschuldigingspercentages ons sociale weefsel onder druk kunnen zetten door algemeen wantrouwen aan te wakkeren en de polarisatie tussen groepen die elkaar toch al moeilijk vertrouwen verder te vergroten".
Een nauwkeurige AI-leugendetector zou ook positieve gevolgen hebben. Het zou AI-gegenereerde desinformatie en nepnieuws kunnen identificeren, helpen bij zakelijke onderhandelingen of verzekeringsfraude bestrijden.
Hoe zit het met de ethiek van het gebruik van een instrument als dit? Zouden grensagenten het kunnen gebruiken om vast te stellen of de asielaanvraag van een migrant waar is of een opportunistisch verzinsel?
Met geavanceerdere modellen dan BERT zal de nauwkeurigheid van AI's leugendetectie waarschijnlijk een punt bereiken waarop menselijke pogingen tot bedrog maar al te gemakkelijk te herkennen zijn.
De onderzoekers concludeerden dat hun "onderzoek de dringende behoefte onderstreept aan een uitgebreid beleidskader om de impact van AI-gestuurde leugendetectiealgoritmen aan te pakken".
