Flere AI-genererede deep fake-videoer af myrdede og misbrugte børn dukkede for nylig op på TikTok.
En af videoerne, som kanalen kaldte 'lærerig', beskriver den tragiske skæbne for James Bulger blev bortført af Jon Venables og Robert Thompson, da han var 10 år gammel, i 1993 i Merseyside, Liverpool.
Bulger, som dengang kun var 2 år gammel, blev mishandlet og tortureret på forfærdelig vis, før han blev fundet død nær en jernbanelinje. Venables og Thompson blev de yngste personer, der blev dømt for mord i Storbritannien, og de yngste dømte mordere i det 20. århundrede.
Denise Fergus, mor til den myrdede søn James Bulger, har fordømt de AI-genererede videoer af hendes afdøde søn som "mere end syge".
Disse videoer var en del af en serie, der brugte AI-teknologi til at genskabe forsvundne eller myrdede børn, herunder Madeleine McCann, der forsvandt under en familieferie i 2007; 11-årige Rhys Jones, der fejlagtigt blev skudt ned af et bandemedlem i Liverpool; og Peter Connolly, også kendt som 'Baby P', der døde af omsorgssvigt og mishandling.
Nogle af disse videoer fik titusindvis af visninger, før de blev fjernet, og de blev uploadet uden indholdsadvarsler.
Taler til SpejletDenise Fergus, James Bulgers mor, kaldte videoerne for "ulækre".
Fergus bemærkede, at selv om hun ikke havde noget problem med at rapportere om sagerne, fandt hun det "absolut modbydeligt" at se sin afdøde søns ansigt blive brugt på den måde.
"Det er at bringe et dødt barn tilbage til livet. Det er mere end sygt," sagde hun. "Hvem kan sidde der og tænke på sådan noget?" spurgte hun og tilføjede: "Det er ikke fair over for de mennesker, der har mistet børn eller mistet nogen."
Hendes mand, Stuart Fergus, kontaktede kontoen, som tilsyneladende er baseret i Filippinerne, og bad om at få fjernet det stødende indhold. I det svar, han modtog, stod der, at de "ikke har til hensigt at fornærme nogen", og at de ville sikre, at sådanne hændelser "aldrig vil ske igen", sammen med en opfordring til at støtte og dele deres side.
TikTok reagerede på kontroversen, fortæller til BBC at de krænkende videoer var blevet fjernet, idet de hævdede, at der ikke var "plads" til den slags indhold i appen.
En talsmand for TikTok fremhævede virksomhedens retningslinjer for fællesskabet og sagde, at de "ikke tillader syntetiske medier, der indeholder billeder af en ung person" og lovede at fortsætte med at fjerne sådant indhold.
Deep fakes tager en drejning mod det uhyggelige
AI-genererede deep fakes er blevet brugt til Sextortion, svindelog genererer misbrugpædofile billeder.
Der er en voksende fortælling om, at AI's futuristiske risici - såsom at overtage kontrollen med kritisk infrastruktur eller på anden måde vende sig mod sine skabere - er en distraktion fra de umiddelbare konsekvenser såsom deep fakes, desinformation og cyberkriminalitet.
Efterhånden som deep fakes bliver mere og mere sofistikerede, bliver det sværere at skelne det digitale fra det fysiske. Som så mange andre ting i AI-verdenen er konsekvenserne af dette uden fortilfælde.
