En kontroversiell ljudinspelning dök upp på Facebook bara några timmar efter att den publicerats på Slovakiens valdag.
I programmet hördes röster som påstods tillhöra Michal Šimečka, ledare för partiet Progressiva Slovakien, och Monika Tódová från tidningen Denník N.
Samtalet kretsade kring valfusk och köp av röster från den romska minoriteten, vilket skapade oro för korruption och förvirring i sociala medier.
Inspelningen tillbakavisades omedelbart som falsk av både Šimečka och Denník N. Agence France-Presse (AFP) faktagranskningswebbplats visade tecken på AI-manipulation i ljudet och rapporterades därefter av internationella nyhetsbyråer.
Med tanke på tidpunkten - inom 48 timmars medietystnad före valet - var det en utmaning att motbevisa inlägget i tid.
Smer-SD-partiet, som leds av Slovakiens tidigare premiärminister Robert Fico, fick 23% i lördagens omröstning och slog därmed mittenpartiet Progressiva Slovakien med 18%.
Eftersom det var ljudinnehåll gled det också förbi Metas policy, som främst riktar sig till manipulerade videor.
Inför omröstningen betonade EU:s digitala chef, Věra Jourová, att EU-valet är känsligt för storskaliga manipulationer och antydde att det kan finnas externa influenser, till exempel från Moskva.
Nu är nationerna på sin vakt mot AI-inducerad valpåverkan, vilket verkar oundvikligt - det handlar mer om huruvida vi kan stoppa det och hur mycket skada det kan göra. Polen, som står inför ett stundande val, blir nästa test.
Stora val står också för dörren under 2024 och 2025, bland annat i USA och Indien nästa år.
Faktagranskare som AFP betonar att AI snabbt utvecklas till ett kraftfullt verktyg för att destabilisera val, och att vi är dåligt rustade för att motverka det. Veronika Hincová Frankovská från faktagranskningsorganisationen Demagog kommenterade: "Vi är inte så redo för det som vi borde vara."
Frankovskás team kontrollerade det falska slovakiska ljudets ursprung och rådfrågade experter innan de använde en AI-talklassificerare från Eleven Labs för att fastställa dess äkthet.
Trots utvecklingen av AI förlitar vi oss till stor del på människor för att upptäcka djupa förfalskningar.
AI-förfalskningar på djupet håller på att bli en kritisk fråga
AI:s roll i spridningen av desinformation blir allt viktigare, och att bevisa att AI-bilder, -videor och -inspelningar är falska är en Herkulesuppgift.
Det mesta falska innehållet är förbjudet på sociala medier. Ben Walter, som representerar Meta, sade: "Våra gemenskapsstandarder gäller för allt innehåll ... och vi kommer att vidta åtgärder mot innehåll som bryter mot dessa policyer."
I praktiken visar det sig dock vara svårt att hindra djupt falskt innehåll från att spridas, och åtgärder som AI vattenstämplar är sorgligt ineffektiva.
När Polen nu förbereder sig för sitt val finns det en oro över det möjliga inflödet av AI-genererat innehåll, och desinformation orsakar redan oro.
Jakub Śliż från den polska faktagranskningsgruppen Pravda Association sa: "Som faktagranskningsorganisation har vi ingen konkret plan för hur vi ska hantera det."
När valresultat beror på små marginaler och bittra politiska dialoger, som i Slovakien, kan effekterna av AI-genererad desinformation bli allvarliga. Dessutom visar tidigare incidenter med algoritmiskt förstärkt desinformation, som Cambridge Analytica-skandalen, att vissa intressenter kan vara delaktiga i denna taktik.
Presidentvalet i USA 2016 var redan fyllt av felaktig information som drevs fram av extremistiska aktivister, utländsk inblandning och vilseledande nyhetskanaler.
År 2020 blev ogrundade anklagelser om valfusk dominerande, vilket stärkte en rörelse mot demokrati som försökte upphäva resultatet.
AI-driven desinformation riskerar inte bara att vilseleda allmänheten, den hotar också att överväldiga en redan bräcklig informationsmiljö och skapa en atmosfär av falskhet, misstro och bedrägeri.
"Förtroendet kommer att minska och det kommer att bli svårare för journalister och andra som försöker sprida faktisk information", säger Ben Winters, senior representant på Electronic Privacy Information Center.
Nya verktyg för gamla taktiker
Föreställ dig en värld där manipulativt innehåll produceras till en så försumbar kostnad och med sådan lätthet att det blir vardagsmat.
Teknikdriven felaktig information är inget nytt fenomen, men AI-verktyg är perfekt positionerade för att sätta turbo på sådan taktik.
Det har förekommit många tidiga skärmytslingar som ger en indikation på vad som komma skall. Tidigare under året har en AI-genererad bild av Pentagon explosionen fick en påtaglig inverkan på aktiemarknaderna, om än bara under några minuter innan användare av sociala medier avslöjade att de virala bilderna var falska.
AI-renderade bilder, som till synes visade Donald Trump i konfrontation med polisen, fick spridning på nätet, och Republican National Committee sände en helt AI-genererad annons som förutsåg katastrofer om Biden skulle bli omvald.
En annan viral djup fejk involverar Floridas guvernör och republikanska kandidat, Ron DeSantis, som släppte ändrade bilder som visar ex-president Donald Trump i en omfamning med Dr. Anthony Fauci.
X (då Twitter) lade till en tagg till den ursprungliga tweeten och märkte den som AI-manipulerad.
Donald Trump blev ett känt namn genom att sparka otaliga människor *på tv*.
Men när det gällde Fauci... pic.twitter.com/7Lxwf75NQm
- DeSantis krigsrum 🐊 (@DeSantisWarRoom) 5 juni 2023
I Storbritannien manipulerades premiärminister Rishi Sunak för att visa honom häller upp en undermålig pint öltill X:s (då Twitter) användares stora förtret innan bildens äkthet avslöjades.
Utanför den politiska arenan har människor lurade av bedragare med djupa förfalskningar som utger sig för att vara deras vänner eller familjemedlemmar.
Flera kvinnor och även unga flickor har utsatts för djupt fejkad "sextortion" - där bedragare utpressar dem med fejkade bilder med svordomar - något som FBI varnade för tidigare i år.
Röstkloner av Omar al-Bashir, Sudans tidigare ledare, dök nyligen upp på TikTokoch eldar på för ett land som är indraget i inbördeskrig.
Listan med exempel kan göras lång, och det verkar som om AI-förfalskningar behärskar text, bilder, video och ljud.
AI sänker ribban för desinformation
AI-förstärkta verktyg förstärker traditionella valstörningstaktiker, både när det gäller kvalitet och skala.
Som vi har sett i det slovakiska valet påpekar Josh Goldstein från Georgetown University's Center for Security and Emerging Technology hur utländska aktörer kan skapa övertygande innehåll på önskat språk.
Han konstaterade: "AI-genererade bilder och videor kan skapas mycket snabbare än faktagranskare kan granska och avfärda dem."
Det finns också potential att utnyttja AI för riktad massdesinformation. Till exempel använde två högerextrema aktivister robocalls (robotsamtal som riktar sig till människor i massor) för att sprida felaktig information om valet till tusentals svarta väljare förra året.
USA förbereder sig för AI-desinformation om valet
Med flera högprofilerade val under 2024 kommer påverkan från AI-drivna desinformationskampanjer att exponeras på allvar.
Som svar på AI:s växande inflytande har teknikjättar som Google vidtagit åtgärder, till exempel obligatorisk märkning av politiska annonser som använder AI-förbättrat innehåll.
Samtidigt överlägger kongressen om regler för AI, och Federal Election Commission (FEC) överväger regler för AI-användning i politisk reklam.
Som ett svar på den ökande oron för AI:s bedrägliga kraft har FEC har föreslagit regler om att använda AI för att fördjupa falskt innehåll i politiska kampanjer.
Det enhälliga FEC-beslutet presenterades den 10 augusti och ledde till ett 60 dagar långt offentligt samråd med experter, intressenter och allmänheten.
Under diskussionerna inom FEC lyfte Lisa Gilbert, vice ordförande för Public Citizen, fram behovet av att se över hur lagar kring "bedräglig förvrängning" kan komma i kontakt med AI-förfalskningar.
När vi närmar oss 2024 kommer nya AI-modeller från Meta, OpenAI och andra AI-utvecklare att ge människor möjlighet att skapa oerhört verklighetstroget innehåll, så det här problemet kommer inte att bli lättare - tvärtom.
