2023 har bevittnat en flodvåg av djupt falska bilder skapade med AI-bildgeneratorer, från en falsk bild av en explosion i Pentagon till bilder av barnmisshandel.
Deep fake-tekniken genererar också robusta kopior av i stort sett alla röster, från Johnny Cash sjunger Barbie Girl till falska tal från Sudans före detta president Omar al-Bashir.
Det är därför kanske inte förvånande att djupa förfalskningar har trängt in i det redan ansträngda digitala landskapet kring den nuvarande Israel-Hamas-konflikten.
Överlag anser analytikerna att AI-felinformationen har varit begränsad - det finns tillräckligt med verkligt visceralt innehåll som cirkulerar på sociala medier. Men blotta tanken på AI-genererade förfalskningar har fått människor att ifrågasätta legitimiteten hos autentiska bilder, videor och ljudklipp.
Detta kallas "lögnens utdelning". Verkligt innehåll kan nu potentiellt avfärdas som AI-genererat, vilket gör det falskt i åskådarnas ögon.
Sociala medier skapar en perfekt arena för att misstänksamhet och paranoia kring digitalt innehåll ska spridas som en löpeld - möjligheten att stämpla något som verkar äkta som falskt, och vice versa, är något som många kommer att använda för att förstärka sina åsikter.
Bill Marcellino från RAND Corporation understryker detta dilemma: "Vad händer när bokstavligen allt du ser som är digitalt kan vara syntetiskt?"
På samma sätt kommenterade Hany Farid, en specialist på digital kriminalteknik och AI-felinformation, Israel-Hamas-konflikten: "Även enligt de krigsdimmor som vi är vana vid är denna konflikt särskilt rörig ... Spöket med deepfakes är mycket, mycket mer betydelsefullt nu - det tar inte tiotusentals, det tar bara några få, och sedan förgiftar du brunnen och allt blir misstänkt."
Det som är anmärkningsvärt är hur snabbt deep fake-tekniken har utvecklats. År 2022 var det enkelt och intuitivt att identifiera inkonsekvenser i AI-genererade bilder, medan det nu ofta kräver specialistanalys.
I takt med att de känslomässigt laddade diskussionerna om Gaza fortsätter, särskilt på sociala medier, blir förtroendets erosion allt tydligare.
Falskt innehåll skapar kontroverser och därmed exponering
Problemet med tvivelaktigt falskt innehåll är att det väcker debatt och i sin tur intryck, likes och kommentarer
Ett inlägg på X, som visades 1,8 miljoner gånger, gav till exempel en felaktig bild av Atletico Madrid-fans som visar upp en enorm palestinsk flagga. Användare påpekade de förvrängda figurerna i bilden, vilket indikerar AI-generering.
Ett annat inlägg från ett Hamas-anknutet konto på plattform X, som rapporterades av New York Times, visade en felaktig bild av ett tältläger för fördrivna israeler, med en felaktig flaggdesign. Detta inlägg togs därefter bort.
Större uppmärksamhet och granskning riktades mot filmmaterial utan uppenbara tecken på AI-manipulation. Som exempel kan nämnas en video av en sjukhusdirektör i Gaza som håller en presskonferens, som vissa betecknade som "AI-genererad" trots att flera källor fångade händelsen från olika vinklar.
I ett försök att skilja sanningen från AI-genererat innehåll har vissa användare av sociala medier vänt sig till detekteringsverktyg. Dessa verktyg påstår sig kunna identifiera digital manipulation, men har visat sig vara inkonsekventa och opålitliga.
I början av konflikten delade premiärminister Netanyahu en serie bilder på plattformen X och hävdade att de föreställde "fasansfulla bilder av barn som mördats och bränts" av Hamas.
När den konservativa kommentatorn Ben Shapiro uppmärksammade en av bilderna på plattform X möttes han av omfattande anklagelser om att sprida AI-genererat innehåll. Vi kommer inte att bädda in tweeten direkt på grund av bildens fruktansvärda natur, men du kan se debatt om Shapiros inlägg här.
I ett inlägg, som visades över 21 miljoner gånger innan det togs bort, hävdades det att man hade bevis för att bilden på barnet var falsk, och man visade en skärmdump från AI or Not, ett verktyg för att upptäcka AI, där bilden märktes som "genererad av AI".
Företaget reviderade senare denna bedömning på plattform X och förklarade att resultatet var "ofullständigt" på grund av bildkomprimering och ändringar som dolde identifierande detaljer. Företaget meddelade också att det hade förfinat sitt detekteringsverktyg som svar.
Vi följer debatten på Twitter, som vi alltid gör när det gäller kontroversiella fall med hög synlighet. Vi har bekräftat med vårt system att resultatet inte är entydigt på grund av att fotografiet komprimerats och ändrats för att sudda ut namnbrickan. https://t.co/uZihVMD7Cq
- AI eller inte (@Ai_or_Not) 13 oktober 2023
Anatoly Kvitnitsky, VD för AI eller intereflekterade över de etiska konsekvenserna av deras teknik: "Vi insåg att all teknik som har utvecklats någon gång har använts i onda syften... Vi kom fram till att vi försöker göra gott, att vi ska hålla tjänsten aktiv och göra vårt bästa för att se till att vi förmedlar sanningen. Men vi tänkte på det - orsakar vi mer förvirring, mer kaos?"
Allt detta leder till en otroligt komplicerad och förvirrande situation som förstärker känslor som redan har pressats till det yttersta.
AI både ger och tar från den offentliga debatten och sanningen. Hur anpassar sig människor till dess närvaro på sociala medier, och kan teknikföretag någonsin ta tillbaka kontrollen?
