Deep fakes har snabbt blivit en allvarlig social och politisk fråga och ett möjligt hot mot valintegriteten.
Strax före Slovakiens val, som är mycket jämnt fördelat omtvistat ljudklipp dök upp på sociala medier, där en röst som var slående lik Slovakiens ledare för Progressiva partiet, Michal Šimečka, talade om en plan för att manipulera valet.
På grund av inläggets närhet till poll time var det utmanande att varna människor för att det var falskt.
Inte långt därefter uppstod en ny kontrovers när Storbritanniens Labour-ledare hördes skälla ut svordomar i ett ljudklipp som publicerades på X, och i det relaterade inlägget stod det: "Jag har fått ljud från Keir Starmer som verbalt misshandlar sina medarbetare på [Labourpartiets] konferens", skrev X-kontot. "Denna motbjudande översittare är på väg att bli vår nästa premiärminister."
Under samma period togs ett TikTok-konto bort efter att det visat sig vara producera falska klipp av den fängslade före detta sudanesiske presidenten Omar Al-Bashir, vilket eldar på lågorna i ett land som redan befinner sig i inbördeskrig.
Klippen i alla tre fallen hade något gemensamt: de var falska och troligen skapade med AI.
Medan AI-videor och -bilder är allestädes närvarande och utgör sina egna problem, är falska ljudklipp svårare att upptäcka och slinker ofta igenom nätet. Rösterna i sig tenderar att vara mycket autentiska; som Jack Brewster från NewsGuard betonade: "Obama ser fortfarande lite plastig ut när dåliga skådespelare använder hans ansikte. Men ljudet av hans röst är ganska bra - och jag tror att det är den stora skillnaden här."
Mot bakgrund av denna oro föreslog en grupp senatorer "No Fakes Act", ett lagförslag som syftar till att straffa dem som producerar eller delar AI-skapade ljud eller videor utan den ursprungliga personens samtycke.
Som Hany Farid, professor i digital kriminalteknik vid University of California i Berkeley, säger"Det här är inte hypotetiskt. Du talar om våld, du talar om valstöld, du talar om bedrägeri - [detta har] verkliga konsekvenser för individer, för samhällen och för demokratier."
Applikationer för röstkloning har utvecklats dramatiskt, och plattformar som Eleven Labs erbjuder verktyg som gör det möjligt att skapa en "deepfaked" röst för en nominell månadsavgift på bara $5.
Hany Farid, som understryker de sociala mediejättarnas ansvar, sa: "De skulle kunna stänga av kranen just nu om de ville. Men det är dåligt för affärerna."
Kan AI deep fakes verkligen påverka val?
Deep fakes har redan visat sig ha effekt i verkligheten, då en fejkad bild av en explosion vid Pentagon tidigare i år fick marknaderna att tillfälligt sjunka, om än bara under några minuter.
Dessa falska klipp, videor och videor hotar ett redan bräckligt informationslandskap - ett landskap där misstankarna ofta är stora och marginalerna snäva.
Även om det är exceptionellt svårt att bedöma den verkliga effekten av AI deep fakes på det politiska samtalet och röstningsbeteendet, sänker det ribban för desinformation.
Ben Winters, senior representant på Electronic Privacy Information Center, säger: "Graden av förtroende kommer att sjunka, jobbet för journalister och andra som försöker sprida faktisk information kommer att bli svårare."
Även om det är en av de vanligaste taktikerna i dessa kampanjer att falskeligen dra in politiker i scenarier som skadar deras rykte, kan de också leda till "lögnens dividend", där det blir möjligt att motbevisa sanningsenliga anklagelser som falska.
För att bekämpa AI deep fakes krävs en kombination av mer avancerade AI-innehållsfilter på sociala medier och utbildning av allmänheten. Kvaliteten på deep fakes i sig kommer dock bara att bli bättre.
