AI-genererade förfalskade nakenbilder av elever från Westfield High School i New Jersey, USA, spreds bland kamrater, och det finns ingen tydlig väg att gå för att vidta rättsliga åtgärder mot förövarna.
Rektor Mary Asfendis beskrev situationen i ett mejl till föräldrarna som en "mycket allvarlig incident".
Ted hänvisning till sekretess vill skolan inte gå in på detaljerna kring händelsen, inklusive antalet drabbade personer eller eventuella disciplinära åtgärder mot förövarna.
E-postmeddelandet som skickades av rektorn läckte ut till pressen och innehöll följande ord:
"Jag skriver för att göra er medvetna om en situation som resulterat i utbredd felaktig information och som lett till betydande oro och bekymmer bland eleverna på Westfield High School. Tidigare idag uppmärksammade elever oss på att några av våra elever hade använt artificiell intelligens för att skapa pornografiska bilder från originalfoton. Det fanns en stor oro för vem som hade fått bilder skapade av dem och om de delades.
I nuläget tror vi att alla bilder som skapats har raderats och inte sprids. Detta är en mycket allvarlig incident. Vi fortsätter att utreda och kommer att informera berörda individer och familjer till inblandade studenter när utredningen är klar. Detta kommer att ske före helgen. Vi har erbjudit rådgivning till alla berörda elever och uppmuntrat dem att återvända till klassrummet när de känner att de kan göra det. Dessutom har vår skolresursofficer och Westfield PD gjorts medvetna om vår utredning. Om en förälder / vårdnadshavare tror att deras barn är offer för en kriminell handling i samband med denna incident, vänligen rapportera ärendet till Westfield Police.
Jag ville göra dig medveten om situationen, eftersom det, förutom att skada de inblandade eleverna och störa skoldagen, är oerhört viktigt att prata med dina barn om deras användning av teknik och vad de lägger upp, sparar och delar på sociala medier. Ny teknik har gjort det möjligt att förfalska bilder och eleverna måste känna till vilken inverkan och skada dessa handlingar kan orsaka andra.
Vi kommer att fortsätta att utbilda era barn om vikten av ansvarsfull användning av teknik och hoppas att ni förstärker dessa budskap hemma."
Denna situation är inte unik för Westfield High School. Spanien upplevde en liknande händelse i september, och offentliga personer och olika influencers på nätet har också varit inblandade i kontroverser om deepfake-pornografi.
I New Jersey finns ingen lagstiftning som straffbelägger skapande och distribution av AI-skapade falska nakenbilder.
Guvernör Phil Murphy presenterade den 10 oktober en arbetsgrupp för AI som ska undersöka teknikens fördelar, tillväxt och risker, men någon definitiv lag som tar upp frågan finns fortfarande inte.
President Bidens verkställande order om AI-reglering föreslår åtgärder för övervakning, inrättande av skyddsåtgärder och tekniska investeringar. Det är dock inte tillräckligt för att införa en federal lag mot djupa falska nakenbilder, och det finns ingen tidslinje för sådan lagstiftning.
Bradley Waldstreicher, biträdande redaktör på Cardozo Law Review, underströk komplexiteten i federal lagstiftning om deep fake i maj 2021 och uppgav: "Om det antas federal deepfake-lagstiftning som specifikt riktar sig mot pornografiska deepfakes, kan pornografiska deepfakes, för att vara konstitutionella, behöva passa in i det första ändringsförslagets kategoriska undantag för att vara en separat kategori som barnpornografi....[D]et finns ingen tydlig lösning. Åtminstone måste forskare genomföra fler studier för att lära sig mer om vilken inverkan pornografiska deepfakes har på offer och internetanvändare innan en omfattande federal lagstiftning antas."
En närmare titt på ökningen av AI-genererade falska nakenbilder avslöjar häpnadsväckande siffror. Enligt den Washington PostMed hänvisning till Genevieve Oh, en branschanalytiker, har det skett en ökning med 290% av sådant innehåll sedan 2018 på framstående webbplatser som är värd för AI-genererade porrfoton.
EN BRITTISK undersökning av BBC avslöjade den häpnadsväckande ökningen av djupt falsk pornografi, inklusive barnpornografi, på webbplatser som Patreon.
Bara under 2023 publicerades 143 000 deepfake-porrvideor på populära plattformar, vilket genererade över 4,2 miljarder visningar - ett betydande hopp från tidigare år. Sensity AI rapporterar att 90 till 95% av dessa videor innehåller kvinnliga bilder utan samtycke.
FBI lyfte också fram en kraftig ökning av "sextortion"-fall, med 26.800 amerikanska offer rapporterade fram till september i år, vilket innebär en ökning med 149% från 2019.
Deep fakes är en av AI:s mest överhängande och akuta risker, och de är exceptionellt svåra att stävja.
Förfalskningar som dyker upp i hela Israel-Palestina-konflikten lyfte också fram risken för att autentiska bilder felaktigt kan stämplas som AI-genererade, ett exempel på en "lögnaktig utdelning" där verklig information kan ignoreras som falsk.
Detta gäller även AI-genererade röster och videor, ofta riktade mot politiska ledareoch farhågorna ökade om att detta skulle kunna påverka röstningsbeteendet.
