Recentemente, apareceram no TikTok vários vídeos profundamente falsos, gerados por IA, de crianças assassinadas e maltratadas.
Um dos vídeos, a que o canal chamou "educativo", descreve o destino trágico de James Bulger foi raptado por Jon Venables e Robert Thompson, na altura com 10 anos, em 1993, em Merseyside, Liverpool.
Bulger, então com apenas 2 anos de idade, foi horrivelmente maltratado e torturado antes de ser encontrado morto perto de uma linha de caminho de ferro. Venables e Thompson tornaram-se os mais jovens indivíduos condenados por assassínio no Reino Unido e os mais jovens assassinos condenados do século XX.
Denise Fergus, a mãe do filho assassinado James Bulger, condenou os vídeos gerados por inteligência artificial do seu filho falecido como sendo "para lá de doentios".
Estes vídeos faziam parte de uma série que utilizava tecnologia de IA para recriar crianças desaparecidas ou assassinadas, incluindo Madeleine McCann, que desapareceu durante umas férias em família em 2007; Rhys Jones, de 11 anos, morto por engano por um membro de um gangue em Liverpool; e Peter Connolly, também conhecido como "Bebé P", que morreu devido a negligência e abuso.
Alguns destes vídeos acumularam dezenas de milhares de visualizações antes de serem removidos e foram carregados sem qualquer aviso de conteúdo.
Falar com O EspelhoDenise Fergus, a mãe de James Bulger, considerou os vídeos "nojentos".
Fergus referiu que, embora não tivesse qualquer problema em relatar os casos, achava "absolutamente repugnante" ver o rosto do seu filho falecido ser utilizado desta forma.
"É trazer uma criança morta de volta à vida. É muito doentio", declarou. "Quem é que se pode sentar ali e pensar numa coisa destas?", perguntou, acrescentando: "Não é justo para as pessoas que perderam filhos, ou perderam alguém".
O seu marido, Stuart Fergus, contactou a conta, aparentemente sediada nas Filipinas, solicitando a remoção do conteúdo ofensivo. A resposta que recebeu afirmava que "não pretendiam ofender ninguém" e que pretendiam garantir que tais incidentes "não voltassem a acontecer", juntamente com um apelo ao apoio e à partilha da sua página.
O TikTok respondeu à controvérsia, à BBC que os vídeos ofensivos tinham sido removidos, afirmando que "não havia lugar" na aplicação para esse tipo de conteúdo.
Um porta-voz do TikTok salientou as directrizes da comunidade da empresa, afirmando que "não permitem meios de comunicação sintéticos que contenham a imagem de um jovem" e prometeu continuar a retirar esses conteúdos.
As falsificações profundas tornam-se sinistras
As falsificações profundas geradas por IA têm sido utilizadas para sextorsão, burlase gerador de abusos, imagens pedófilas.
Há uma narrativa crescente segundo a qual os riscos futuristas da IA - como a tomada de controlo de infra-estruturas críticas ou a reação contra os seus criadores - são uma distração dos impactos imediatos, como as falsificações profundas, a desinformação e o cibercrime.
À medida que as falsificações profundas se tornam cada vez mais sofisticadas, será mais difícil discernir o digital do físico. Tal como muitas outras coisas no mundo da IA, os seus impactos não têm precedentes.