In Almendralejo, een klein stadje in het zuiden van Spanje, ontdekten meer dan 20 tienermeisjes onlangs dat ze kunstmatig gegenereerde naaktfoto's van zichzelf op hun mobiele telefoons hadden ontvangen.
Deze verontrustend realistische, diepe naaktfoto's zijn gemanipuleerd op basis van foto's die in eerste instantie op de Instagram-accounts van de meisjes waren geplaatst.
Nu worden ouders en juristen geconfronteerd met de vraag: Is het maken en verspreiden van deze beelden een misdrijf onder de bestaande wetten?
De expliciete afbeeldingen werden gegenereerd met ClothOff, een AI-applicatie, en vervolgens verspreid in verschillende WhatsApp-groepen.
De personen op de foto's waren volledig gekleed, maar de AI-software veranderde de beelden op overtuigende wijze zodat de naaktheid echt leek.
Dit heeft geleid tot toenemende bezorgdheid onder ouders en juridische autoriteiten over de vraag of deze gemanipuleerde foto's gecategoriseerd kunnen worden als kinderpornografie.
Miriam Al Adib, de moeder van een van de getroffen meisjes, uitte haar ontsteltenis op haar Instagram account en zei: "De montages zijn super realistisch, het is erg verontrustend en een echte schande."
Ze vervolgde: "Mijn dochter zei met grote afschuw tegen me: 'Mam, kijk wat ze met me gedaan hebben'."
Al Adib uitte ook zijn bezorgdheid over het feit dat de gewijzigde afbeeldingen wel eens op websites voor volwassenen terecht zouden kunnen komen.
Fátima Gómez, een andere bezorgde ouder, vertelde het Spaanse nieuwsnetwerk Extremadura TV dat haar dochter was gechanteerd via sociale media. Een jongen eiste geld van haar dochter en toen ze weigerde, stuurde hij haar een diep nepnaakt.
De FBI gewaarschuwd van AI-gegenereerde "sextortion" in juni van dit jaar en verschillende vrouwen zijn er al het slachtoffer van geworden.
De Spaanse nationale politie heeft de zaak onderzocht en verschillende jongeren aangewezen die betrokken zouden zijn geweest bij het maken en verspreiden van deze beelden.
De situatie is ook doorverwezen naar het bureau van de officier van justitie voor jeugdzaken. De burgemeester van Almendralejo waarschuwde dat wat begon als een "grap" ernstige juridische gevolgen kan hebben.
ClothOff, de AI-toepassing in kwestie, heeft een onthutsende slogan: "Kleed iedereen uit, kleed meisjes gratis uit". Naar verluidt vraagt het 10 euro voor het genereren van 25 naaktfoto's.
Het jongste betrokken meisje was pas 11 jaar oud.
Bestaande wetten bieden slechte dekking
Manuel Cancio, hoogleraar strafrecht aan de Autonome Universiteit van Madrid, vertelde Euronews dat bestaande wetten de kwestie mogelijk niet adequaat aanpakken.
"Omdat het door deepfake wordt gegenereerd, wordt de privacy van de persoon in kwestie niet aangetast. Het effect dat het heeft (op het slachtoffer) kan erg lijken op een echte naaktfoto, maar de wet loopt een stap achter," legde hij uit.
Het feit dat de afbeelding nep of 'gefictionaliseerd' is, compliceert de juridische aspecten.
Juridische experts zijn verdeeld over hoe het misdrijf gecategoriseerd moet worden. Sommigen beweren dat het onder de kinderpornowetgeving zou kunnen vallen, wat zou leiden tot zwaardere straffen, terwijl anderen suggereren dat het misdrijf beschouwd zou kunnen worden als een overtreding tegen de morele integriteit.
Juridische interpretaties van de zaak zouden wereldwijd verschillen en er zou waarschijnlijk een vergelijkbaar debat zijn als dit in andere landen was gebeurd.
Kinderen worden meegesleurd in AI-gerelateerde schade, waarbij het World Economic Forum (WEF) onlangs de aandacht vestigde op een schrijnend gebrek aan beleid om kinderen te beschermen tegen AI-risico's.
Amerikaanse wetgevers ook aangehaalde problemen rond de omgang van AI met kinderen en journalisten in het Verenigd Koninkrijk ontdekten dat pedofiele bendes het genereren van verontrustende illegale inhoud met behulp van AI-modellen.
Wetgevers worden door dergelijke gevallen op de proef gesteld - Dit laat opnieuw zien hoe traditionele wetgeving simpelweg te omslachtig is om zich aan te passen aan AI-gerelateerde risico's die een paar jaar geleden nauwelijks voorstelbaar waren.
