UK Safer Internet Centre (UKSIC) har rapporteret, at børn bruger AI-billedgeneratorer til at skabe uanstændige billeder af andre børn.
Velgørenhedsorganisationen sagde, at den har gennemgået et "lille antal rapporter", men understregede, at der er behov for handling nu, før problemet breder sig.
David Wright, direktør for UKSIC, understreger behovet for øjeblikkelig handling: "[Vi] er nødt til at se, at der bliver taget skridt nu, før skolerne bliver overvældede, og problemet vokser."
Især børn er sandsynligvis ikke klar over konsekvenserne af at bruge AI på denne måde.
I Storbritannien er det ulovligt at skabe, besidde eller distribuere sådanne billeder, uanset om de er ægte eller AI-genererede.
Organisationen advarede om muligheden for, at disse billeder kunne blive misbrugt eller cirkuleret online, hvilket kunne føre til utilsigtede konsekvenser, herunder afpresning.
Det er ikke et enkeltstående tilfælde. Spansk og Amerikanske skoler har begge oplevet deres egne AI-genererede billedkontroverser på det seneste, hvor der er blevet udvekslet ulovlige billeder af mindreårige.
Desuden er der en betydelig debat om, hvem der er ansvarlig for at uddanne børn om skaderne ved sådant materiale. Er det forældrenes, skolernes eller myndighedernes pligt?
Separat forskning fra virksomhed inden for uddannelsesteknologi RM-teknologi med 1.000 elever viste, at næsten en tredjedel bruger AI til upassende onlineaktiviteter.
Tasha Gibson, online sikkerhedschef hos RM Technology, sagde: "Studerende, der bruger AI regelmæssigt, er nu almindeligt," "Faktisk er deres forståelse af AI mere avanceret end de fleste læreres - hvilket skaber en videnskløft."
Apps gør det nemt at skabe ulovlige billeder
Disse såkaldte "declothing"-apps dukkede først op på sociale medieplatforme i 2019 og blev ofte brugt på beskedtjenester som Telegram som automatiseret software med AI-funktioner.
Oprindeligt var disse apps relativt usofistikerede, men fremskridt inden for generativ AI har forbedret deres evne til at skabe fotorealistiske falske billeder.
Den model, der var involveret i den spanske sag, tiltrak næsten 50.000 abonnenter. Typisk kan brugerne oprette et antal billeder gratis, før de skal betale et gebyr.
I mange tilfælde er brugen af disse apps drevet af nysgerrighed, siger UKSIC, men det udgør bestemt ikke et juridisk forsvar.
En mand fra North Carolina blev for nylig sandsynligvis det første individ til at blive dømt for AI-relaterede seksuelle forbrydelser og fik en fængselsstraf på 40 år. Han bliver næppe den sidste.
