AI-lögndetektor slår människor och kan vara samhällsomstörtande

8 juli 2024

  • Forskare tränade en LLM att exakt upptäcka om påståenden var sanna eller falska
  • Modellen upptäckte falska påståenden 67% av gångerna, vilket var bättre än den mänskliga precisionen på cirka 50%
  • AI-lögndetektorer kan leda till en ökning av antalet anklagelser och nya sociala, juridiska och etiska utmaningar

Forskare från University of Würzburg och Max-Planck Institute for Human Development har tränat en AI-modell att upptäcka lögner och det kan förändra vårt sätt att interagera med varandra.

Människor är inte så bra på att avgöra om en person ljuger eller talar sanning. Experiment visar att vår träffsäkerhet i bästa fall är runt 50% och denna dåliga prestanda dikterar hur vi engagerar oss i varandra.

Teorin om sanning som standard (TDT) säger att människor vanligtvis kommer att anta att det som en person säger till dem är sant. Den sociala kostnaden för att kalla personen en lögnare är en för stor risk med vår 50/50 lögndetekteringsförmåga och faktakontroll är inte alltid praktiskt i ögonblicket.

Polygrafer och annan lögndetekterande teknik kan plocka upp data som stressindikatorer och ögonrörelser, men det är inte troligt att du kommer att använda en sådan i ditt nästa samtal. Kan AI hjälpa till?

Tidningen förklarar hur forskargruppen lärde Googles BERT LLM att upptäcka när människor ljuger.

Forskarna rekryterade 986 deltagare och bad dem att beskriva sina helgplaner med en uppföljande förklaring som stöd för sanningshalten i deras uttalande.

De fick sedan ta del av en annan deltagares planer för helgen och ombads att skriva ett falskt stödjande uttalande där de hävdade att det i själva verket var deras planer för helgen.

BERT utbildades på 80% av de 1.536 påståendena och fick sedan i uppgift att utvärdera sanningshalten i resten av påståendena.

Modellen kunde korrekt märka ett påstående som sant eller falskt med en noggrannhet på 66,86%, vilket var betydligt bättre än de mänskliga domarna som uppnådde en noggrannhet på 46,47% i ytterligare experiment.

Skulle du använda en AI-lögndetektor?

Forskarna fann att när deltagarna fick möjlighet att använda AI:s lögndetekteringsmodell var det bara en tredjedel som valde att acceptera erbjudandet.

De som valde att använda algoritmen följde nästan alltid algoritmens förutsägelse genom att acceptera påståendet som sant eller genom att anklaga någon för att ljuga.

Deltagare som sökte algoritmiska förutsägelser uppvisade anklagelsefrekvenser på nästan 85% när det föreslog att uttalandet var falskt. Baslinjen för dem som inte begärde maskinförutsägelser var 19,71%.

Människor som är öppna för tanken på en AI-lögndetektor är mer benägna att säga "BS" när de ser den röda lampan blinka.

Forskarna menar att "en trolig förklaring är att en tillgänglig algoritm för att upptäcka lögner ger möjlighet att flytta ansvaret för anklagelser från sig själv till det maskininlärda systemet".

"Jag kallar inte dig för lögnare, det gör maskinen.

Detta förändrar allt

Vad skulle hända i våra samhällen om människor var fyra gånger mer benägna att börja kalla varandra för lögnare?

Forskarna drog slutsatsen att om människor förlitar sig på att AI ska vara den som avgör sanningen kan det ha en stark störningspotential.

I rapporten konstateras att "höga anklagelsefrekvenser kan belasta vår sociala struktur genom att främja allmän misstro och ytterligare öka polariseringen mellan grupper som redan har svårt att lita på varandra".

En korrekt AI-lögndetektor skulle också ha positiva effekter. Den skulle kunna identifiera AI-genererad desinformation och falska nyheter, hjälpa till vid affärsförhandlingar eller bekämpa försäkringsbedrägerier.

Hur är det då med etiken i att använda ett sådant här verktyg? Skulle gränsagenter kunna använda det för att upptäcka om en migrants asylansökan var sann eller ett opportunistiskt påhitt?

Mer avancerade modeller än BERT kommer sannolikt att driva AI:s lögndetekteringsförmåga mot en punkt där mänskliga försök till bedrägeri blir alltför lätta att upptäcka.

Forskarna drog slutsatsen att deras "forskning understryker det akuta behovet av ett omfattande politiskt ramverk för att hantera effekterna av AI-drivna lögndetekteringsalgoritmer".

Bli en del av framtiden


PRENUMERERA IDAG

Tydlig, kortfattad och heltäckande. Få grepp om AI-utvecklingen med DagligaAI

Eugene van der Watt

Eugene kommer från en bakgrund som elektronikingenjör och älskar allt som har med teknik att göra. När han tar en paus från att konsumera AI-nyheter hittar du honom vid snookerbordet.

×

GRATIS PDF EXKLUSIV
Ligg steget före med DailyAI

Registrera dig för vårt veckovisa nyhetsbrev och få exklusiv tillgång till DailyAI:s senaste e-bok: "Mastering AI Tools: Din 2024-guide till förbättrad produktivitet".

*Genom att prenumerera på vårt nyhetsbrev accepterar du vår Integritetspolicy och våra Villkor och anvisningar