En ny studie viser at selv om folk er klar over at de kan lytte til falsk tale, sliter de likevel med å identifisere falske stemmer.
Dette gjelder både engelsk- og mandarintalende, noe som understreker at dype falske stemmer sannsynligvis er effektive på mange språk.
Forskere fra University College London ba 500 personer om å identifisere falsk tale i flere lydklipp. Noen av klippene inneholdt en autentisk kvinnestemme som leste generiske setninger på enten engelsk eller mandarin, mens andre var dype forfalskninger produsert av generative AI-er trent på kvinnestemmer.
Den studie Deltakerne ble delt inn i to grupper, som hver ble utsatt for en annen form for eksperiment.
Den ene gruppen ble presentert for 20 stemmeprøver på sitt eget morsmål og skulle avgjøre om klippene var ekte eller falske. Deltakerne identifiserte de falske og de autentiske stemmene i omtrent 73% av tilfellene, både for de engelske og mandarinske stemmeprøvene.
En annen gruppe fikk 20 tilfeldig utvalgte par med lydklipp. Hvert par inneholdt den samme setningen fremført av et menneske og en dyp forfalskning, og deltakerne fikk i oppgave å identifisere forfalskningen. Dette økte deteksjonsnøyaktigheten til 85,59%.
I det første eksperimentet vil menneskelig gjenkjenning av deep fakes i det virkelige liv sannsynligvis være dårligere enn resultatene antyder, ettersom folk ikke blir advart om at de kan høre AI-generert tale.
I det andre eksperimentet har lytterne derimot et binært valg, noe som gir dem en fordel.
Interessant nok var det relativt liten forskjell i resultatene for engelsk på mandarin.
Bedragerier med falske ytringer øker i det virkelige liv
"Dette oppsettet er ikke helt representativt for virkelige scenarier", sier Mai. "Lytterne får ikke vite på forhånd om det de lytter til, er ekte, og faktorer som foredragsholderens kjønn og alder kan påvirke deteksjonsresultatet."
Det er imidlertid flere begrensninger, ettersom studien ikke utfordret lytterne til å avgjøre om det var en dyp forfalskning som skulle høres ut som noen de kjente, for eksempel en sønn, en mor osv. Hvis svindlere gikk etter noen med en dyp forfalskning, ville de nesten helt sikkert klonet stemmen til noen. Dette er relativt enkelt hvis noen har lastet opp lyd eller videoer av seg selv på nettet, for eksempel til en video i sosiale medier, en podkast, radio- eller TV-sending.
Dette er allerede i ferd med å skje, med en McAfee-undersøkelse som viser at rundt 1 av 4 voksne er klar over at det forekommer svindel med falske stemmer.
AI-relatert svindel er også på vei opp økning i Kina, og en analytiker spådde at AI-støttet svindel kan koste mennesker og økonomier dyrt. Det finnes mange skremmende anekdoter fra mennesker som allerede har blitt utsatt for falske telefonsamtaler, ofte i form av et panikkslagent familiemedlem som ber om penger for å redde dem ut av en vanskelig situasjon.
Denne studien viste at falske stemmer "beveger seg gjennom den uhyggelige dalen", og etterligner den naturlige lyden av menneskestemmer, men mangler de subtile nyansene som vekker mistenksomhet hos noen lyttere. Selvfølgelig blir AI-dype falske stemmer stadig bedre.
Samlet sett viser studien at dagens teknologi allerede er svært kompetent, og forsøkene på å forbedre enkeltpersoners evne til å oppdage falske stemmer i studien var i stor grad mislykket.
Forfatterne understreker behovet for å utvikle kompetente AI-stemmedetektorer og opplyse befolkningen om hvor sofistikerte falske stemmer allerede er.
Fremtidig forskning på deep fakes som replikerer stemmene til personer som studiedeltakerne kjenner, vil være nyttig.
Det finnes praktiske måter å avsløre svindel med falsk tale på, for eksempel ved å etablere kodeord mellom familiemedlemmer eller be innringeren om å beskrive en personlig opplysning som er kjent for begge parter.
