En idrottsledare på en gymnasieskola i Baltimore greps på torsdagen efter att polisen sagt att han påstås ha använt AI för att skapa ett falskt ljudklipp av skolans rektor.
I januari, vi rapporterade på ljudklippet som påstods vara en inspelning av Pikesville Highs rektor Eric Eiswert som gjorde rasistiska och antisemitiska kommentarer om personal och studenter.
Vid den tidpunkten förnekade Eiswert ljudets äkthet och det hävdades att klippet var en AI-fejk.
Det vitt spridda ljudklippet ledde till att Eiswert tillfälligt förlorade sitt jobb medan ljudets äkthet undersöktes. Bakslaget från lärare, elever och andra i samhället som trodde att klippet var äkta vände upp och ner på Eiswerts liv.
Om du lyssnar på ljudklippet är det lätt att förstå varför folk trodde att det var äkta.
Visa detta inlägg på Instagram
Experter har nu dragit slutsatsen att ljudet var en AI-förfalskning baserat på ljudets platta ton, avsaknad av konsekventa andningsljud eller pauser och ovanligt rena bakgrundsljud.
Det påstås att Dazhon Darien, Pikesville Highs tidigare idrottsdirektör, gjorde AI-imitationen som en hämnd för att Eiswert inlett en utredning om hans missbruk av skolans medel.
Dazhon Darien har gripits och åtalats för att ha stört skolverksamheten, stöld, repressalier mot ett vittne och förföljelse. Enligt åtalet hade Darien använt skolans datorer "för att få tillgång till OpenAI verktyg och Microsoft Bing Chat-tjänster."
Frånvarande från listan över anklagelser var något som snart kan vara ett brott: att använda AI för att fejka någons röst.
Lagförslag som Lagen om förbud mot förfalskningar och No AI Fraud Act har lämnats in i den amerikanska US Kongressen men har ännu inte antagits. Så när Darien använde AI för att skapa ett falskt ljudklipp av Eiswerts röst utan samtycke var det tekniskt sett inte ett brott.
Det faktum att det tog veckor för en expert att till slut bekräfta att ljudklippet var falskt visar hur oförberedda samhället och myndigheterna är på att hantera de nya frågor som generativ AI innebär.
Problemet förvärras av att det är så lätt att skapa dessa förfalskningar. Om en idrottslärare kan sätta ihop en acceptabel förfalskning, föreställ dig då vad mer tekniskt kompetenta dåliga skådespelare kan åstadkomma.
I avsaknad av ett enkelt sätt att identifiera falskt ljud och video kan vårt bästa försvar vara att anta att saker är falska tills de bekräftas som verkliga.
