En BBC-undersökning visade att pedofiler utnyttjar AI-teknik för att generera och distribuera realistiska bilder av sexuella övergrepp på barn.
Dessa olagliga AI-genererade bilder är vanligtvis tillgängliga via webbplatser för innehållsdelning som Patreon. National Police Chief's Council (NPCC) uttryckte sin indignation och framhöll att det är "upprörande" att vissa plattformar inte tar sitt "moraliska ansvar" trots att de gör betydande vinster.
GCHQ, den brittiska regeringens underrättelse- och cybersäkerhetsbyrå, reagerade på rapporten genom att säga: "Förövare av sexuella övergrepp mot barn använder sig av alla tekniker och vissa tror att framtiden för material om sexuella övergrepp mot barn ligger i AI-genererat innehåll."
För att generera bilderna används Stable Diffusion, ett AI-system för bildgenerering med öppen källkod. Med Stable Diffusion kan användaren mata in ord som beskriver den önskade bilden.
Kritiskt är att en version av Stable Diffusion är öppen källkod under Apache License 2.0, till skillnad från Mid Journey och DALL-E, som hindrar användare från att använda prompter för att generera grafiska eller olagliga bilder. Detta ger upphovsmännen fria händer att skapa nästan vilken bild de vill.
BBC upptäckte fall där Stable Diffusion användes för att skapa hyperrealistiska skildringar av sexuella övergrepp mot barn. Den brittiska polisen bekräftade att de redan har kommit i kontakt med olagligt AI-genererat material.
Frilansforskaren och journalisten Octavia Sheepshanks, som undersökte fallet, delade med sig av sina resultat till BBC via välgörenhetsorganisationen för barn, NSPCC. "Sedan AI-genererade bilder blev möjliga har det varit denna enorma översvämning ... det är inte bara mycket unga flickor, de [pedofilerna] pratar om småbarn", konstaterade hon.
I ett annat fall utnyttjade användare en VR-porrplattform för att skapa avatarer av minderåriga kvinnor. En användare ska ha tagit ett foto av en riktig minderårig flicka och lagt det på en av modellerna.
Den brittiska lagen behandlar datorgenererade "pseudobilder" som visar sexuella övergrepp mot barn på samma sätt som riktiga bilder - vilket innebär att innehav, publicering eller överföring av sådana bilder är olagligt.
NSPCC:s chef för skydd av barn, Ian Critchley, hävdade att även om "syntetiska" bilder inte föreställer verkliga barn kan de leda till verklig skada. Han varnade för en potentiell upptrappning av gärningsmännens handlingar "från tanke, till syntetisk, till faktiskt övergrepp på ett levande barn".
Hur skapade och distribuerade pedofilerna bilderna?
Enligt undersökningen består bilddistributionsprocessen av tre steg:
- Pedofiler skapar bilder med hjälp av AI-programvara.
- Dessa bilder marknadsförs på plattformar som Pixiv, en japansk webbplats för bilddelning.
- På dessa plattformar finns länkar som leder kunderna till mer explicita bilder, som de kan få tillgång till genom att betala på webbplatser som Patreon.
Många bildskapare var aktiva på Pixiv, som främst användes av manga- och animekonstnärer.
Plattformen finns dock i Japan, där det inte är olagligt att dela sexualiserade tecknade bilder av minderåriga, vilket gör det möjligt för skaparna att marknadsföra sina verk med hjälp av grupper och hashtags.
Pixiv förbjöd alla fotorealistiska avbildningar av sexuellt innehåll som involverar minderåriga från och med den 31 maj. De uppgav också att de hade förstärkt sina övervakningssystem och avsätter mer resurser för att motverka sådant innehåll.
Sheepshanks berättade för BBC att frågan handlar om "distribution i industriell skala". Dessutom visar kommentarer på Pixiv att vissa erbjuder icke-AI-genererat missbruksmaterial.
Många Pixiv-konton innehåller länkar till deras "ocensurerade innehåll" som finns på Patreon, en USA-baserad plattform för innehållsdelning som värderas till cirka $4 miljarder (3,1 miljarder pund).
Patreon har över 250 000 skapare, däribland kända kändisar, journalister och författare. I utredningen upptäcktes Patreon-konton som öppet sålde AI-genererade obscena barnbilder, med priser som varierade beroende på typen av material.
Stabilitet AI och Patreon reagerar
När ett exempel visades bekräftade Patreon att det stred mot deras policy, och kontot togs omedelbart bort.
Stable Diffusion, den AI-bildgenerator som användes för att skapa dessa bilder, utvecklades genom ett globalt samarbete mellan akademiker och företag under ledning av brittiska Stability AI. Som nämnts har open source-versionen av programvaran inga filter, vilket gör det möjligt att skapa vilken bild som helst.
Stability AI svarade med att skärpa sitt förbud mot missbruk av programvaran för olagliga eller omoraliska ändamål, inklusive sexuellt övergreppsmaterial på barn (CSAM).
De förklarade att de starkt stödde brottsbekämpande insatser för att bekämpa den olagliga användningen av sina produkter.
Ian Critchley från NPCC uttryckte oro för att inflödet av AI-genererade eller "syntetiska" bilder skulle kunna försvåra identifieringsprocessen av faktiska övergreppsoffer. Han sa: "Det skapar ytterligare efterfrågan, när det gäller polisarbete och brottsbekämpning, för att identifiera var ett verkligt barn, var det än är i världen, blir misshandlat i motsats till ett artificiellt eller syntetiskt barn."
Critchley tillade att samhället har nått ett "avgörande ögonblick" när det gäller att avgöra om internet och teknik kommer att möjliggöra möjligheter eller bli en källa till större skada.
NSPCC upprepade dessa känslor och uppmanade teknikföretag att vidta åtgärder mot den alarmerande hastighet med vilken förövare har tagit till sig ny teknik.
Anna Edmundson, välgörenhetsorganisationens chef för policy och public affairs, hävdade att företagen var medvetna om dessa potentiella risker men inte har vidtagit några betydande åtgärder, och betonade att det inte kan finnas "några fler ursäkter för passivitet".
En talesperson för regeringen svarade: "Online Safety Bill kommer att kräva att företag vidtar proaktiva åtgärder för att ta itu med alla former av sexuella övergrepp mot barn på nätet, inklusive grooming, livestreaming, material om sexuella övergrepp mot barn och förbjudna bilder på barn - annars väntar stora böter."
Storbritanniens Lagförslag om säkerhet på nätet utarbetades i första hand innan generativ AI "blev mainstream", men syftar fortfarande till att kontrollera fall av AI-relaterad skada online.
Oron kring djupa förfalskningar ökar
Detta riktar ytterligare uppmärksamhet mot AI:s roll i bedrägerier och cyberbrott. Framväxten av deep fakes, ultrarealistiska AI-genererade bilder, video eller ljud, har lett till en mängd etiska och säkerhetsmässiga problem.
Deep fakes använder AI-algoritmer för att extrahera mönster i ansiktsrörelser, röstmodulationer och kroppsspråk från befintligt ljud- eller videoinnehåll. Med hjälp av sin analys kan AI skapa mycket övertygande förfalskningar som är nästan omöjliga att skilja från den äkta varan.
Dessutom kommer AI-genererade övergrepp mot barn sannolikt att utmana befintlig lagstiftning runt om i världen. AI-genererade olagliga barnbilder behandlas juridiskt på samma sätt som riktiga bilder i Storbritannien, men det är inte säkert att så är fallet på andra håll.
Lagstiftare har svårt att hålla jämna steg med AI, som är betydligt mer flexibelt än klumpiga lagstiftningsprocesser.
Under tiden suddar bedragare och kriminella ut gränserna mellan vad som är äkta och vad som inte är det, samtidigt som de utnyttjar luckor i lagen.
Det första uppmärksammade fallet av AI-stödda bedrägerier inträffade under 2019 när bedragare använde AI för att imitera en VD:s röst för att övertyga en hög chef att överföra 220 000 euro ($243 000) och hävdade att det gällde en brådskande leverantörsbetalning. Chefen trodde att han talade med VD:n, men i själva verket interagerade han med en deep fake.
Tidigare i år publicerades en falsk bild av en explosion i Pentagon cirkulerade på sociala medier, vilket fick den amerikanska aktiemarknaden att tillfälligt falla med 0,3%.
Många är oroliga för att AI ska användas för att skapa falska nyhetsrapporter eller ärekränkande innehåll om politiska personer. Politiker använder redan AI-genererade innehåll för att stärka sina kampanjer.
Dessutom har det skett en ökning av icke-samtyckesbaserad deep fake-pornografi, där personers ansikten läggs på explicita bilder eller videor utan samtycke.
Den FBI varnade om AI-sextortion tidigare i juni, där det står: "Skadliga aktörer använder tekniker och tjänster för innehållsmanipulation för att utnyttja foton och videor - vanligtvis tagna från en persons sociala mediekonto, öppet internet eller begärda från offret - till bilder med sexuella teman som verkar verklighetstrogna i likhet med ett offer, och sedan sprida dem på sociala medier, offentliga forum eller pornografiska webbplatser. Många offer, däribland minderåriga, är omedvetna om att deras bilder har kopierats, manipulerats och spridits tills någon annan uppmärksammar dem på det."
En brittisk dokumentär, Min blonda GFutforskar ett verkligt fall av djupt falsk hämndporr som grep tag i författaren Helen Morts liv.
Teknikföretag som Google, Twitter och Facebook utvecklar verktyg för att identifiera djupt falskt innehåll, men i takt med att AI blir mer sofistikerat kan sådana mekanismer bli mindre tillförlitliga.
Även om framsteg görs måste individer, företag och samhället som helhet hålla sig informerade om de potentiella riskerna med deep fake-teknik, som har lyfts fram som en av AI:s mest överhängande och akuta risker.
