Våldsbejakande extremister använder generativa AI-verktyg för att skapa innehåll i stor skala och kringgå skyddsräcken och filter i processen, enligt en ny rapport.
Intelligent företag Teknik mot terrorism identifierade cirka 5.000 exempel på AI-genererat innehåll, inklusive bilder kopplade till grupper som Hizbollah och Hamas.
Dessa bilder rör ofta känsliga ämnen som kriget mellan Israel och Hamas, vilket tyder på en strategisk användning av AI för att påverka berättelser.
Det har förekommit många exempel av AI-genererade bilder som pekar ut både Israel och Palestina som skyldiga till grymheter och händelser som de inte varit inblandade i. Deep fakes utgör ett dubbelt hot: fejkade bilder kan tolkas som äkta och äkta bilder som fejkade.
Adam Hadley, verkställande direktör för Tech Against Terrorism, sade: "Vår största oro är att om terrorister börjar använda gen AI för att manipulera bilder i stor skala, kan detta mycket väl förstöra hashdelning som en lösning. Det här är en enorm risk."
Hash-delning i innehållsmoderering innebär att unika digitala fingeravtryck (hash) skapas av skadligt innehåll, som sedan delas mellan olika plattformar. Detta gör det möjligt för olika tjänster att snabbt identifiera och ta bort innehållet, vilket ökar effektiviteten i arbetet med innehållsmoderering.
Den här metoden kan vara ineffektiv om AI skapar nytt, oigenkännligt innehåll.
📰 I nyheterna | Så här utnyttjar våldsamma extremister generativa AI-verktyg
Vår Executive Director, Adam Hadley, delade med sig av våra senaste insikter om #AI och pilotprojekt med @Microsoft på @WIRED.
Läs mer här: https://t.co/AUhrNTZibJ pic.twitter.com/yqY95J3L8i
- Teknik mot terrorism (@techvsterrorism) 10 november 2023
Från nynazistiska grupper som använder rasistiska och antisemitiska AI-genererade bilder till Islamiska staten (IS) som publicerar guider om hur man använder generativa AI-verktyg på ett säkert sätt - omfattningen av AI-missbruk blir allt större.
Extremistgrupper utnyttjar också AI för att skapa flerspråkig propaganda och personliga rekryteringsmeddelanden.
Problemet sträcker sig längre än till extremistisk propaganda. Till exempel rapporterade Internet Watch Foundation över 20.000 AI-genererade bilder av sexuella övergrepp mot barn på ett enda dark web-forum på en månad, vilket understryker de bredare konsekvenserna av AI-missbruk.
Hadley försäkrade att det finns mekanismer för att stoppa denna trend och föreslog: "Vi kommer att samarbeta med Microsoft för att ta reda på om det finns sätt att använda vårt materialarkiv för att skapa ett slags gen AI-detekteringssystem för att motverka det framväxande hotet att gen AI kommer att användas för terroristinnehåll i stor skala."
Hadley föreslår att ett sådant verktyg skulle kunna göras tillgängligt på flera plattformar, vilket skulle göra det möjligt för plattformarna att slå ner på problematiskt AI-genererat innehåll utan att behöva utveckla egna verktyg.
Mer om rapporten
Tech Against Terrorisms intelligenta verksamhet arkiverade över 5.000 AI-genererade innehåll som används av terrorister och våldsbejakande extremister (TVE). De understryker att detta utgör en liten del av den totala volymen av TVE-innehåll som identifieras årligen.
Den rapport täcker främst innehåll från islamistiska och högerextrema ideologier, vilket visar på en oroande trend där TV-program använder generativ AI för propaganda.
Viktiga slutsatser och farhågor
TV-nätverk som är knutna till Islamiska staten (IS), al-Qaida-anhängare och nynazister har experimenterat med generativ AI.
Exempel inkluderar:
- IS tekniska supportgrupp publicerar en guide om säker användning av AI-innehållsgeneratorer.
- Nynazistiska meddelandekanaler som distribuerar AI-genererade rasistiska och antisemitiska bilder.
- Högerextrema propagandister använder AI-genererade bildverktyg för att skapa extremistiska memes.
- IS-anhängare hävdar att de har använt AI för transkribering och översättning av IS-propaganda.
- Al-Qaida-anslutna medier publicerar AI-genererade propagandaaffischer.
Potentiella risker med utnyttjande av generativ AI
Enligt rapporten:
- Media som leker: Skapar varianter av bilder eller videor för att kringgå upptäckt.
- Automatiserad flerspråkig översättning: Översättning av textbaserad propaganda till flera språk.
- Helsyntetisk propaganda: Skapande av artificiellt innehåll, t.ex. tal och bilder.
- Variant återvinning: Återanvändning av gammal propaganda till "nya" versioner.
- Personligt anpassad propaganda: Anpassning av meddelanden för målinriktad rekrytering.
- Undergrävande av moderering: Utformning av innehåll för att kringgå befintliga modereringstekniker.
Möjligheter och utmaningar:
- Proaktiva lösningar och samarbetsinsatser, som "red-teaming", behövs för att identifiera och minska riskerna.
- Småskaliga exempel på AI som används av TVE-aktörer signalerar ett framväxande hot som kräver tekniska lösningar och policyskapande.
Framtida problem:
- Extremistgrupper kommer sannolikt att fortsätta utforska AI-verktyg för att förbättra sina propagandastrategier.
- Inofficiella våldsbejakande extremistkanaler kan utnyttja AI-verktyg mer aggressivt på grund av brist på resurser och originalmaterial.
Även om den nuvarande risken för att TV-bolagen ska börja använda generativ AI på bred front är låg, tyder nya mönster på ett ökande hot.
Deep fakes och andra former av AI-stödd manipulation utgör en akut risk som teknikföretagen kämpar för att kontrollera.
