Polisen i Australien har inlett en utredning om distribution av AI-genererade pornografiska bilder på cirka 50 skolflickor, där gärningsmannen tros vara en tonårspojke.
I en intervju med ABC på onsdagen avslöjade Emily, mamma till en 16-årig flicka som går på Bacchus Marsh Grammar, att hennes dotter blev fysiskt sjuk efter att ha sett de "stympade" bilderna på nätet.
"Jag hämtade min dotter från en övernattning och hon var extremt upprörd och kräktes eftersom bilderna var otroligt grafiska", förklarade hon för ABC Radio Melbourne.
Skolan gjorde ett uttalande där man förklarade sitt engagemang för studenternas välbefinnande och noterade att man erbjuder rådgivning och samarbetar med polisen.
"Välbefinnandet för våra studenter och deras familjer vid Bacchus Marsh Grammar är av högsta prioritet och hanteras aktivt", säger skolan uppgavs.
Detta kommer samtidigt som den australiensiska regeringen driver på för strängare lagar för icke-konsensuella explicit deep fakes, vilket ökar fängelsestraffen för att generera och dela CSAM, AI-genererat eller på annat sätt, till upp till sju år.
Explicita djupa förfalskningar ökar
Experter säger att online-rovdjur som frekventerar den mörka webben i allt högre grad utnyttjar AI-verktyg - särskilt text-till-bild-generatorer som Stability AI - för att generera ny CSAM.
Det är oroande att dessa CSAM-skapare ibland fixerar sig vid tidigare överlevande barn som utsatts för övergrepp och vars bilder cirkulerar på nätet. Barnsäkerhetsgrupper rapporterar att de har hittat många chattrumsdiskussioner om att använda AI för att skapa mer innehåll som visar specifika minderåriga "stjärnor" som är populära i dessa missbrukssamhällen.
AI gör det möjligt för människor att skapa nya explicita bilder för att revictimisera och retraumatisera överlevarna.
"Min kropp kommer aldrig att bli min igen, och det är något som många överlevande måste brottas med", sa Leah Juliett, aktivist och CSAM-överlevare, nyligen. berättade för Guardian.
En oktober 2023 rapport från den brittiska Internet Watch Foundation avslöjade omfattningen av AI-genererad CSAM. Rapporten fann över 20.000 sådana bilder som publicerats på ett enda dark web-forum under en månad.
Bilderna är ofta omöjliga att skilja från autentiska foton och visar djupt störande innehåll som simulerad våldtäkt av spädbarn och småbarn.
Förra året var en Rapport från Stanford University avslöjade att hundratals riktiga CSAM-bilder ingick i LAION-5B-databasen som används för att träna populära AI-verktyg. När databasen gjordes öppen källkod, säger experter att skapandet av AI-genererad CSAM exploderade.
Den senaste tidens gripanden visar att frågan inte är teoretisk, och polisstyrkor över hela världen vidtar åtgärder. I april arresterades till exempel en En man från Florida åtalades för att ha använt AI för att generera explicita bilder av ett grannbarn.
Förra året fick en man i North Carolina - en barnpsykiater av alla människor - dömdes till 40 års fängelse för att ha skapat AI-genererad barnpornografi från sina patienter.
Och för bara några veckor sedan tillkännagav det amerikanska justitiedepartementet gripande av 42-årige Steven Anderegg i Wisconsin för att ha skapat mer än 13.000 AI-genererade kränkande bilder på barn.
Nuvarande lagar är inte tillräckliga, säger lagstiftare och förespråkare
Även om de flesta länder redan har lagar som kriminaliserar datorgenererad CSAM, vill lagstiftarna skärpa reglerna.
Till exempel i USA, ett lagförslag från två partier har införts för att göra det möjligt för offer att stämma skapare av explicita djupförfalskningar utan samtycke.
Det återstår dock en del gråzoner där det är svårt att avgöra exakt vilka lagar som sådana aktiviteter bryter mot.
I Spanien upptäcktes till exempel en ung student som spred explicita bilder av klassmedlemmar genererade med AI. Vissa hävdade att detta skulle falla under pedofililagstiftningen, vilket skulle leda till strängare åtal, medan andra menade att det inte skulle kunna uppfylla det kriteriet enligt gällande lagstiftning.
En liknande incident inträffade på en skola i New Jerseysom visar hur barn kan använda dessa AI-verktyg på ett naivt sätt och utsätta sig för extrema risker i processen.
Teknikföretag bakom AI-bildgeneratorer förbjuder användning av deras verktyg för att skapa olagligt innehåll. Många kraftfulla AI-modeller har dock öppen källkod och kan köras privat offline, så lådan kan inte stängas helt.
En stor del av den kriminella verksamheten har dessutom flyttat till krypterade meddelandeplattformar, vilket gör det ännu svårare att upptäcka.
Om AI öppnade Pandoras ask, är detta verkligen en av de faror som ligger i den.
