Flera AI-genererade djupa fejkvideor av mördade och misshandlade barn dök nyligen upp på TikTok.
En av videorna, som kanalen kallade "pedagogisk", beskriver det tragiska ödet för James Bulger kidnappades av Jon Venables och Robert Thompson, då 10 år gammal, 1993 i Merseyside, Liverpool.
Bulger, som då bara var 2 år gammal, utsattes för fruktansvärda övergrepp och tortyr innan han hittades död nära en järnvägslinje. Venables och Thompson blev de yngsta individerna som dömts för mord i Storbritannien och de yngsta dömda mördarna under 1900-talet.
Denise Fergus, mamma till den mördade sonen James Bulger, har fördömt de AI-genererade filmerna av hennes avlidne son som "bortom all sans".
Dessa videor ingick i en serie där AI-teknik användes för att återskapa försvunna eller mördade barn, däribland Madeleine McCann, som försvann under en familjesemester 2007, 11-årige Rhys Jones, som av misstag sköts ihjäl av en gängmedlem i Liverpool, och Peter Connolly, även känd som "Baby P", som dog av vanvård och övergrepp.
Vissa av dessa videor hade tiotusentals visningar innan de togs bort och laddades upp utan några innehållsvarningar.
Talar till SpegelnDenise Fergus, James Bulgers mamma, kallade filmerna "motbjudande".
Fergus noterade att även om hon inte hade några problem med att rapportera om fallen, tyckte hon att det var "helt vidrigt" att se sin avlidne sons ansikte användas på ett sådant sätt.
"Det är som att väcka ett dött barn till liv igen. Det är mer än sjukt", förklarade hon. "Vem kan sitta där och tänka på något sådant?" frågade hon och tillade: "Det är inte rättvist mot de människor som har förlorat barn, eller förlorat någon."
Hennes make, Stuart Fergus, kontaktade kontot, som uppenbarligen är baserat i Filippinerna, och begärde att det stötande innehållet skulle tas bort. I svaret han fick stod det att de "inte har för avsikt att förolämpa någon" och att de ville se till att sådana incidenter "aldrig kommer att hända igen", tillsammans med en uppmaning att stödja och dela deras sida.
TikTok reagerade på kontroversen, säger till BBC att de kränkande filmerna hade tagits bort och hävdade att det inte fanns "någon plats" i appen för sådant innehåll.
En talesperson för TikTok lyfte fram företagets riktlinjer för samhället och sa att de "inte tillåter syntetiska medier som innehåller bilden av en ung person" och lovade att fortsätta ta bort sådant innehåll.
Djupa förfalskningar tar en vändning mot det olycksbådande
AI-genererade djupa förfalskningar har använts för sextorsion, bedrägerier, och genererar missbruk, pedofila bilder.
Det finns en växande uppfattning om att AI:s futuristiska risker - som att ta kontroll över kritisk infrastruktur eller på annat sätt vända sig mot sina skapare - är en distraktion från de omedelbara effekterna på lång sikt, som djupa förfalskningar, desinformation och cyberbrott.
I takt med att deep fakes blir alltmer sofistikerade kommer det att bli svårare att skilja det digitala från det fysiska. Som så många andra saker i AI-världen är effekterna av detta oöverträffade.
