Deep fakes har raskt blitt et alvorlig sosialt og politisk problem og en mulig trussel mot valgintegriteten.
Kort tid før Slovakias tett kjørte valg, ble en omstridt lydklipp dukket opp på sosiale medier, der en stemme som var påfallende lik lederen for Slovakias Progressive parti, Michal Šimečka, snakket om en plan for å manipulere valget.
På grunn av innleggets nærhet til avstemningstidspunktet var det utfordrende å advare folk om at det var falskt.
Ikke lenge etter ble det en ny kontrovers da Storbritannias Labour-leder ble hørt bjeffe skjellsord på et lydklipp som ble lagt ut på X, og i det tilhørende innlegget sto det: "Jeg har fått tak i lydopptak av Keir Starmer som verbalt mishandler sine medarbeidere på [Labour-partiets] konferanse", skrev X-kontoen. "Denne motbydelige mobberen er i ferd med å bli vår neste statsminister."
I samme periode ble en TikTok-konto fjernet etter at det ble oppdaget at den var produsere falske klipp av den fengslede eks-sudanske presidenten Omar al-Bashir, noe som har bidratt til å fyre opp under et land som allerede befinner seg i borgerkrig.
Klippene i alle tre tilfellene hadde noe til felles: De var falske og sannsynligvis laget med kunstig intelligens.
Mens AI-video og -bilder er allestedsnærværende og byr på sine egne problemer, er falske lydklipp vanskeligere å oppdage og slipper ofte gjennom nettet. Stemmene i seg selv har en tendens til å være svært autentiske; som Jack Brewster fra NewsGuard fremhevet: "Obama ser fortsatt litt plastikkaktig ut når dårlige skuespillere bruker ansiktet hans. Men lyden av stemmen hans er ganske god - og jeg tror det er den store forskjellen her."
I lys av disse bekymringene foreslo en gruppe senatorer "No Fakes Act", et lovforslag som tar sikte på å straffe dem som produserer eller deler AI-skapt lyd eller video uten den opprinnelige personens samtykke.
Som Hany Farid, professor i digital kriminalteknikk ved University of California i Berkeley, sier"Dette er ikke hypotetisk. Du snakker om vold, du snakker om valgfusk, du snakker om valgfusk - [dette har] konsekvenser i den virkelige verden for enkeltpersoner, for samfunn og for demokratier."
Stemmekloningsapplikasjoner har utviklet seg dramatisk, og plattformer som Eleven Labs tilbyr verktøy som gjør det mulig å skape en "deepfaked" stemme for en nominell månedlig avgift på bare $5.
Hany Farid understreket sosiale mediegigantenes ansvar og sa: "De kunne skrudd av kranen akkurat nå hvis de ville. Men det er ikke bra for forretningene."
Kan AI deep fakes virkelig påvirke valg?
Deep fakes har allerede vist seg å ha en effekt i den virkelige verden, da et falskt bilde av en eksplosjon i Pentagon tidligere i år fikk markedene til å synke midlertidig, om enn bare i noen få minutter.
Disse falske klippene, videoene og filmene truer et allerede skjørt informasjonslandskap - et landskap der mistenksomheten ofte er stor og marginene små.
Selv om det er svært vanskelig å vurdere den virkelige effekten av AI deep fakes på den politiske diskursen og velgeratferden, senker det terskelen for desinformasjon.
Ben Winters, seniorrepresentant ved Electronic Privacy Information Center, uttaler: "Graden av tillit vil gå ned, og jobben til journalister og andre som prøver å formidle faktisk informasjon, vil bli vanskeligere."
Selv om det å trekke politikere inn i scenarier som skader deres omdømme, er en av de vanligste taktikkene i disse kampanjene, kan de også føre til "løgnerens utbytte", der det blir mulig å tilbakevise sannferdige påstander som falske.
Bekjempelse av AI-dypforfalskninger krever en kombinasjon av mer avanserte AI-filter på sosiale medier og folkeopplysning. Kvaliteten på deep fakes i seg selv kommer imidlertid bare til å bli bedre.