En ungdomsdomstol i Badajoz i Spanien har idømt 15 skolebørn et års betinget fængsel for at have skabt og spredt AI-genererede nøgenbilleder af deres kvindelige klassekammerater.
De mindreårige, der var mellem 13 og 15 år gamle, blev fundet skyldige i 20 tilfælde af misbrug af billeder af børn og 20 tilfælde af krænkelser af den moralske integritet.
Som en del af deres straf skal de tiltalte deltage i undervisning i ligestilling og teknologiansvar.
Retten fastslog, at de mindreårige brugte AI-applikationer til at manipulere originale fotos af piger fra sociale medier og lægge deres ansigter oven på nøgne kvindekroppe.
Sagen opstod første gang i september sidste år i Almendralejo, en lille by i det sydvestlige Spanien, da forældre rapporterede, at billeder af deres døtre blev sendt rundt på WhatsApp. De manipulerede fotos viste pigerne nøgne, hvilket skabte enorm angst og uro blandt ofrene, hvoraf nogle var helt ned til 11 år.
"Det er et chok, når man ser det," sagde moren til et af ofrene. "Billedet er fuldstændig realistisk ... Hvis jeg ikke kendte min datters krop, ville jeg have troet, at billedet var ægte."
Moren til et andet offer, Miriam Al Adib, udtrykte sin forargelse på Instagram og sagde: "Montagerne er superrealistiske, det er meget foruroligende og en virkelig forargelse."
Hun fortalte, hvordan hendes datter kom til hende og væmmedes og sagde: "Mor, se, hvad de har gjort ved mig." Al Adib udtrykte også bekymring for, at de falske nøgenbilleder kunne ende på hjemmesider for voksne.
En anden mor, Fátima Gómez, fortalte lokale medier, at hendes datter blev afpresset af en medstuderende på grund af de falske nøgenbilleder. En dreng krævede penge af hendes datter, og da hun nægtede, sendte han hende et manipuleret nøgenbillede af sig selv.
Politiets undersøgelser afslørede, at et program ved navn "ClothOff AI" blev brugt til at generere billederne fra fotos på sociale medier.
Appen har det foruroligende slogan "Undress anybody, undress girls for free" og tager angiveligt 10 euro for at generere 25 nøgenbilleder.
Beskyttelse af mindreårige i AI-alderen
Den skelsættende sag understreger det presserende behov for opdaterede love og politikker for at imødegå den voksende trussel fra AI-genererede deep fakes, især dem, der er rettet mod mindreårige.
Eksperter siger, at den eksisterende lovgivning er utilstrækkelig til at retsforfølge disse nye lovovertrædelser, hvilket efterlader ofrene sårbare.
"Ud over denne særlige retssag bør disse fakta få os til at reflektere over behovet for at uddanne folk i ligestilling mellem mænd og kvinder", sagde Malvaluna Association, som repræsenterede de berørte familier.
De understregede behovet for omfattende seksualundervisning i skolerne for at bekæmpe de skadelige virkninger af pornografi og deep fakes.
I takt med at AI-teknologien udvikler sig hurtigt, er der stigende bekymring for dens potentiale for misbrug og udnyttelse, hvor kvinder og børn er et uforholdsmæssigt stort mål.
Det Verdensøkonomiske Forum (WEF) og amerikanske lovgivere har for nylig gjort opmærksom på manglen på politikker, der beskytter mindreårige mod AI-risici.
Amerikanske lovgivere også rejste spørgsmål omkring AI's interaktion med børn, som tydeligvis er blevet en åbenlys blind plet i regler og retningslinjer. AI-udviklere sætter aldersgrænser på deres værktøjer, og det er tvivlsomt, om de er effektive.
Samarbejde mellem politiske beslutningstagere, teknologivirksomheder, undervisere og forældre er afgørende for at løse disse udfordringer og skabe en sikrere digital fremtid for alle, især børn.
