En video på TikTok verkade visa YouTube-influencer MrBeast som erbjuder 10.000 iPhone 15 Pro-telefoner till följare för $2 vardera.
Ta inte fram kreditkortet, för videon var en AI-genererad deepfake som på något sätt undgick TikToks innehållsmoderering.
MrBeast, vars riktiga namn är Jimmy Donaldson, dominerar YouTube med 189 miljoner abonnenter på sin kanal. Hans videor är ganska upprörande och ser honom göra saker som att ge bort en $800k-ö eller $1m som användare måste spendera på en minut.
Så du skulle bli förlåten för att kort tro att han skulle göra något galet som att ge bort 10,000 XNUMX iPhones. Förskottsbetalningen på $2 borde dock ha varit en antydan om att detta var en bluff.
Videon var lite glitchig men den ser ut och låter precis som MrBeast så den lurade förmodligen många människor innan TikTok så småningom tog ner den.
Många människor får den här deepfake-bluffannonsen av mig ... är sociala medieplattformar redo att hantera ökningen av AI-deepfakes? Det här är ett allvarligt problem pic.twitter.com/llkhxswQSw
- MrBeast (@MrBeast) 3 oktober 2023
TikTok har en verifieringsprocess på plats för nya konton och policyer för innehållsmoderering, men ingen av dem fångade den här falska annonsen. En kommentar till MrBeasts tweet sa "Att bli verifierad på TikTok är lika enkelt som att ta en tupplur."
MrBeast frågade "Är sociala medieplattformar redo att hantera ökningen av AI-deepfakes?" och det uppenbara svaret är, nej det är de inte.
Bara under den senaste veckan har vi sett AI deepfakes av Tom Hanks i en tandläkarreklam och Gayle King i en reklam för en viktminskningsprodukt.
Visa detta inlägg på Instagram
Att bli lurad för $2 eller köpa en viktminskningsprodukt som inte riktigt fungerar är den låga änden av den potentiella skada som AI-deepfakes kan orsaka.
Potentialen för att störa val eller sprida skadlig desinformation förstärks när den person som talar till oss ser ut att vara någon som vi litar på. Företag försöker utveckla en digital vattenstämpel som identifierar AI-genererat innehåll, men ingen av dem verkar fungera tillförlitligt ännu.
Även om de utvecklar ett sätt att markera AI-innehåll, hur ska de då få människor att använda det? Tills vi hittar ett sätt att omedelbart veta när något är AI-genererat måste vi vara extra försiktiga med vad vi tror.
Om det är för bra för att vara sant, så är det förmodligen det.