Verschillende door AI gegenereerde nepvideo's van vermoorde en misbruikte kinderen verschenen onlangs op TikTok.
Een van de video's, die het kanaal 'educatief' noemt, beschrijft het tragische lot van James Bulger werd ontvoerd door Jon Venables en Robert Thompson, toen 10 jaar oud, in 1993 in Merseyside, Liverpool.
Bulger, toen net 2 jaar oud, werd gruwelijk mishandeld en gemarteld voordat hij dood werd gevonden bij een spoorlijn. Venables en Thompson werden de jongste personen veroordeeld voor moord in Groot-Brittannië en de jongste veroordeelde moordenaars van de 20e eeuw.
Denise Fergus, de moeder van de vermoorde zoon James Bulger, heeft de door AI gegenereerde video's van haar overleden zoon veroordeeld als "meer dan ziek".
Deze video's maakten deel uit van een serie waarin AI-technologie werd gebruikt om vermiste of vermoorde kinderen na te spelen, waaronder Madeleine McCann, die verdween tijdens een familievakantie in 2007; de 11-jarige Rhys Jones, die per ongeluk werd neergeschoten door een bendelid in Liverpool; en Peter Connolly, ook bekend als 'Baby P', die stierf door verwaarlozing en mishandeling.
Sommige van deze video's werden tienduizenden keren bekeken voordat ze werden verwijderd en werden geüpload zonder inhoudswaarschuwingen.
Spreken met De spiegelDenise Fergus, de moeder van James Bulger, noemde de video's "walgelijk".
Fergus merkte op dat ze geen probleem had met het rapporteren over de zaken, maar dat ze het "absoluut walgelijk" vond om het gezicht van haar overleden zoon op zo'n manier gebruikt te zien worden.
"Het is een dood kind weer tot leven brengen. Het is meer dan ziek," verklaarde ze. "Wie kan daar zitten en zoiets bedenken?" vroeg ze, eraan toevoegend: "Het is niet eerlijk tegenover de mensen die kinderen hebben verloren, of iemand hebben verloren."
Haar man, Stuart Fergus, nam contact op met het account, dat blijkbaar in de Filippijnen is gevestigd, met het verzoek om de aanstootgevende inhoud te verwijderen. In het antwoord dat hij kreeg stond dat het "niet hun bedoeling was om iemand te beledigen" en dat ze ervoor wilden zorgen dat dergelijke incidenten "nooit meer zouden gebeuren", samen met een oproep om hun pagina te steunen en te delen.
TikTok reageerde op de controverse, vertelde de BBC dat de aanstootgevende video's waren verwijderd en beweerde dat er "geen plaats" was op de app voor dergelijke inhoud.
Een woordvoerder van TikTok benadrukte de communityrichtlijnen van het bedrijf, waarin staat dat ze "geen synthetische media toestaan die de gelijkenis van een jong persoon bevatten" en beloofde door te gaan met het verwijderen van dergelijke inhoud.
Diepe vervalsingen nemen een sinistere wending
AI-gegenereerde diepe vervalsingen zijn gebruikt voor sextortion, zwendelen het genereren van misbruikpedofiele afbeeldingen.
Er is een groeiend verhaal dat de futuristische risico's van AI - zoals het overnemen van de controle over kritieke infrastructuur of zich op een andere manier tegen de makers keren - afleiden van de gevolgen op de korte termijn, zoals diepe vervalsingen, desinformatie en cybercriminaliteit.
Naarmate deep fakes steeds geraffineerder worden, zal het moeilijker worden om het digitale van het fysieke te onderscheiden. Zoals zoveel dingen in de AI-wereld zijn de gevolgen hiervan ongekend.
