DEFCON är världens äldsta och största årliga hackarkonferens. I år låg ett särskilt fokus på red-teaming, eller simulerade attacker, på AI-språkmodeller för att identifiera risker och noggrannhetsproblem.
Vita huset speglade den amerikanska regeringens oro över säkerheten i AI-språkmodeller genom att sponsra evenemanget som hölls den gångna helgen i Las Vegas.
Under evenemanget tävlade cirka 2 200 hackare om att få 8 av världens ledande LLM:er att ge felaktiga eller osäkra svar på deras uppmaningar. De AI-chattmodeller som testades inkluderade Llama 2, Stable Chat, ChatGPT, Bard och andra.
De officiella resultaten kommer att publiceras först i februari 2024, vilket ger utgivarna av modellerna lite tid att försöka åtgärda de sårbarheter som identifierades under evenemanget. Men vissa experter är skeptiska till om det ens är möjligt att åtgärda sårbarheterna.
Cybersäkerhetsexperten Gary McGraw sa: "Det är frestande att låtsas att vi kan strö något magiskt säkerhetsdamm över de här systemen efter att de har byggts, patcha dem så att de underkastar sig eller skruva fast särskild säkerhetsutrustning på sidan."
Christoph Endres, VD för det tyska cybersäkerhetsföretaget Sequire Technology, presenterade ett dokument där han sade att vissa attacker är omöjliga att försvara. "Än så länge har vi inte hittat något skydd som fungerar", sa han.
Vissa rapporter om exponerade sårbarheter var ganska oskyldiga. En tävlande, Kennedy Mays, sa att hon gick fram och tillbaka med en LLM och fick den att medge att 9 + 10 = 21. Modellen gick med på detta som en del av ett "internt skämt", men gav senare det felaktiga svaret utan förbehåll.
Resultaten kommer inte att offentliggöras förrän omkring februari. Och även då kommer det att ta tid och kosta miljontals dollar att åtgärda bristerna i dessa digitala konstruktioner - vars inre funktioner varken är helt pålitliga eller helt utforskade ens av deras skapare. #defcon https://t.co/JMKxykWmcE
- Chris Wysopal (@WeldPond) 14 augusti 2023
De tävlande visste inte vilken modell de var red-teaming så även anekdotiska berättelser om sårbarheter kommer inte att ge oss insikt i vilket företags modell som fungerade bäst.
Kommentarerna från Arati Prabhakar, chef för Vita husets Office of Science and Technology Policy, ger oss en viss inblick i hur många sårbarheter som exponerades. Hon sa: "Alla verkar hitta ett sätt att bryta sig in i de här systemen."
Syftet med evenemanget var att få etiska hackare att identifiera problem så att de kan åtgärdas. Det är ett faktum att det finns gott om hackare med svarta hattar som letar efter sårbarheter som de kan utnyttjas i cyberbrottslighet, ej publicerad för rättelse.
Evenemangets program på lördagen fick ett för tidigt slut efter att ett bombhot ledde till att huvudlokalen utrymdes av säkerhetspersonal. Säkerhetsvakterna genomsökte byggnaden och hittade inga bomber, så söndagens program kunde genomföras, om än med en känsla av oro.
Bombhotet var förmodligen bara ett sjukt skämt som på ett konstigt sätt parodierade själva händelsen. Vi fortsätter att försöka avslöja farorna med AI och kan försöka åtgärda de buggar vi identifierar.
Men även om experterna inte hittar något specifikt hot, kan vi ändå känna oss oroliga inför risken för ett sådant. Vi frågar oss: "Tänk om de har missat något?"
