En ny studie visar att även om människor är medvetna om att de kan lyssna på falskt tal, så har de svårt att identifiera falska röster på ett tillförlitligt sätt.
Detta gäller för både engelsk- och mandarintalande, vilket understryker att djupa falska röster sannolikt är effektiva på många språk.
Forskare från University College London bad 500 personer att identifiera djupt falskt tal i flera ljudklipp. Vissa klipp innehöll en autentisk kvinnoröst som läste generiska meningar på antingen engelska eller mandarin, medan andra var djupa förfalskningar som producerats av generativa AI:er som tränats på kvinnoröster.
Den studie deltagarna delades in i två grupper, som var och en utsattes för en annan form av experiment.
En grupp fick se 20 röstprov på sitt modersmål och skulle avgöra om klippen var äkta eller falska. Deltagarna identifierade korrekt de djupa förfalskningarna och de autentiska rösterna ungefär 73% av tiden för både de engelska och mandarinröstexemplen.
En separat grupp fick 20 slumpmässigt utvalda par av ljudklipp. Varje par innehöll samma mening som levererades av en människa och den djupa falska, och deltagarna fick i uppgift att identifiera den falska. Detta ökade upptäcktsnoggrannheten till 85,59%.
I det första experimentet kommer människors upptäckt av deep fakes i verkliga livet sannolikt att vara sämre än vad resultaten antyder, eftersom människor inte skulle varnas för att de kan höra AI-genererat tal.
Omvänt har lyssnarna ett binärt val i det andra experimentet, vilket ger dem en fördel.
Intressant nog var det relativt liten skillnad mellan resultaten för engelska och mandarin.
Djupa bedrägerier med falska tal ökar i verkligheten
"Den här installationen är inte helt representativ för verkliga scenarier", säger Mai. "Lyssnarna får inte veta i förväg om det de lyssnar på är verkligt, och faktorer som talarens kön och ålder kan påverka detektionsprestanda."
Det finns dock ytterligare begränsningar, eftersom studien inte utmanade lyssnare att avgöra djupa förfalskningar som är utformade för att låta som någon de känner, till exempel en son, mamma etc. Om bedragare riktade in sig på någon med en djup falsk, skulle de nästan säkert klona någons röst. Detta är relativt enkelt om någon har laddat upp ljud eller videor av sig själv online, till exempel för en video på sociala medier, podcast, radio- eller TV-sändning.
Detta sker redan, med en McAfee-undersökning som visar att cirka 1 av 4 vuxna är medvetna om att bedrägerier med djupa falska röster förekommer.
AI-relaterade bedrägerier ökar också uppgång i Kina, och en analytiker förutspådde att AI-stödda bedrägerier kan stå människor och ekonomier dyrt. Det finns många skrämmande anekdoter från människor som redan har blivit utsatta för djupa falska samtal, ofta i form av en panikslagen familjemedlem som ber om pengar för att rädda dem ur en svår situation.
Studien visade att falska röster "rör sig genom den kusliga dalen" och imiterar det naturliga ljudet av mänskliga röster, men saknar de subtila nyanser som väcker misstankar hos vissa lyssnare. Naturligtvis förbättras AI-djupa falska röster hela tiden.
Sammantaget visar studien att dagens teknik redan är mycket kompetent, och försöken att förbättra individernas förmåga att upptäcka falska röster i studien var i stort sett misslyckade.
Författarna lyfter fram behovet av att utveckla kompetenta AI-röstdetektorer och utbilda befolkningen om hur sofistikerade djupa falska röster redan är.
Framtida forskning om djupa förfalskningar som replikerar rösterna från personer som studiedeltagarna känner skulle vara insiktsfull.
Det finns praktiska sätt att identifiera bedrägerier med falskt tal, till exempel genom att etablera kodord mellan familjemedlemmar eller be den som ringer att beskriva en ömsesidigt känd del av sin personliga information.
