Nylig dukket det opp flere AI-genererte falske videoer av drepte og mishandlede barn på TikTok.
En av videoene, som kanalen kaller "lærerik", beskriver den tragiske skjebnen til James Bulger ble bortført av Jon Venables og Robert Thompson, da han var 10 år gammel, i 1993 i Merseyside, Liverpool.
Bulger, som da bare var to år gammel, ble mishandlet og torturert på det grusomste før han ble funnet død nær en jernbanelinje. Venables og Thompson ble de yngste som ble dømt for drap i Storbritannia, og de yngste drapsdømte i det 20. århundret.
Denise Fergus, moren til den drepte sønnen James Bulger, har fordømt de AI-genererte videoene av hennes avdøde sønn som "hinsides sykt".
Disse videoene inngikk i en serie der AI-teknologi ble brukt til å gjenskape savnede eller drepte barn, deriblant Madeleine McCann, som forsvant under en familieferie i 2007, 11 år gamle Rhys Jones, som ved en feiltakelse ble skutt av et gjengmedlem i Liverpool, og Peter Connolly, også kjent som "Baby P", som døde av omsorgssvikt og mishandling.
Noen av disse videoene hadde titusenvis av visninger før de ble fjernet, og de ble lastet opp uten innholdsadvarsler.
Snakker til SpeiletDenise Fergus, James Bulgers mor, kalte videoene "motbydelige".
Fergus bemerket at selv om hun ikke hadde noe problem med å rapportere om sakene, syntes hun det var "helt motbydelig" å se ansiktet til sin avdøde sønn bli brukt på en slik måte.
"Det er å vekke et dødt barn til live igjen. Det er mer enn sykt," sa hun. "Hvem kan sitte der og tenke på noe slikt?" spurte hun, og la til: "Det er ikke rettferdig mot de menneskene som har mistet barn, eller mistet noen."
Ektemannen Stuart Fergus kontaktet kontoen, som tilsynelatende er basert på Filippinene, og ba om at det støtende innholdet ble fjernet. I svaret han fikk, sto det at de "ikke har til hensikt å fornærme noen", og at de hadde som mål å sikre at slike hendelser "aldri vil skje igjen", sammen med en oppfordring om å støtte og dele siden deres.
TikTok reagerte på kontroversen, sier til BBC at de krenkende videoene hadde blitt fjernet, og hevdet at det ikke var "noen plass" for slikt innhold i appen.
En talsperson for TikTok fremhevet selskapets retningslinjer for fellesskapet, og sa at de "ikke tillater syntetiske medier som inneholder bilder av en ung person" og lovet å fortsette å fjerne slikt innhold.
Deep fakes tar en uhyggelig vending
AI-genererte deep fakes har blitt brukt for sextortion, svindel, og genererer misbruk...pedofile bilder.
Det er en voksende oppfatning at AIs futuristiske risikoer - som å ta kontroll over kritisk infrastruktur eller på annen måte vende seg mot skaperne - er en distraksjon fra umiddelbare konsekvenser som dyp forfalskning, desinformasjon og cyberkriminalitet.
Etter hvert som deep fakes blir stadig mer sofistikerte, vil det bli vanskeligere å skille det digitale fra det fysiske. Som så mange andre ting i AI-verdenen, er konsekvensene av dette uten sidestykke.
