DEFCON er verdens ældste og største årlige hackerkonference. I år var der særligt fokus på red-teaming, eller simulerede angreb, på AI-sprogmodeller for at identificere risici og problemer med nøjagtigheden.
Det Hvide Hus afspejlede den amerikanske regerings bekymring over sikkerheden ved AI-sprogmodeller ved at sponsorere begivenheden, som blev afholdt i den forgangne weekend i Las Vegas.
Ved arrangementet konkurrerede omkring 2.200 hackere om at få 8 af verdens førende LLM'er til at give unøjagtige eller usikre svar på deres spørgsmål. De AI-chatmodeller, der blev testet, omfattede Llama 2, Stable Chat, ChatGPT, Bard og andre.
De officielle resultater offentliggøres først i februar 2024, hvilket giver udgiverne af modellerne lidt tid til at forsøge at rette de sårbarheder, der blev identificeret under arrangementet. Men nogle eksperter er skeptiske over for, om det overhovedet er muligt at lappe sårbarhederne.
Cybersikkerhedsekspert Gary McGraw sagde: "Det er fristende at lade, som om vi kan drysse noget magisk sikkerhedsstøv på disse systemer, når de er bygget, lappe dem til underkastelse eller skrue særlige sikkerhedsapparater på siden."
Christoph Endres, direktør for det tyske cybersikkerhedsfirma Sequire Technology, præsenterede en artikel, hvor han sagde, at nogle angreb var umulige at forsvare. "Indtil videre har vi ikke fundet en afhjælpning, der virker," sagde han.
Nogle rapporter om udsatte sårbarheder var ret uskyldige. En deltager, Kennedy Mays, sagde, at hun gik frem og tilbage med en LLM og fik den til at indrømme, at 9 + 10 = 21. Modellen gik med til dette som en del af en "intern joke", men gav senere det forkerte svar uden forbehold.
Resultaterne vil ikke blive offentliggjort før omkring februar. Og selv da vil det tage tid og millioner af dollars at rette fejl i disse digitale konstruktioner, hvis indre funktioner hverken er helt pålidelige eller fuldt ud forstået, selv af deres skabere. #defcon https://t.co/JMKxykWmcE
- Chris Wysopal (@WeldPond) 14. august 2023
Deltagerne vidste ikke, hvilken model de var i gang med at teste, så selv anekdotiske beretninger om sårbarheder vil ikke give os indsigt i, hvilken virksomheds model der klarede sig bedst.
Kommentarerne fra Arati Prabhakar, direktør for Det Hvide Hus' kontor for videnskabs- og teknologipolitik, giver os et indblik i, hvor mange sårbarheder der blev afsløret. Hun sagde: "Alle ser ud til at finde en måde at bryde disse systemer på."
Formålet med arrangementet var at få etiske hackere til at identificere problemer, så de kan blive løst. Det er helt sikkert, at der er masser af black hat-hackere, der leder efter sårbarheder, som de kan udnytte. udnyttet i cyberkriminalitet, ikke offentliggjort til rettelse.
Lørdagens program blev afbrudt i utide, efter at en bombetrussel fik sikkerhedsfolkene til at rydde hovedarenaen. Sikkerhedsfolkene gennemsøgte bygningen og fandt ingen bomber, så søndagens program fortsatte, om end med en følelse af uro.
Bombetruslen var sandsynligvis bare en syg joke, som på en underlig måde parodierede selve begivenheden. Vi søger fortsat at afsløre farerne ved AI og kan forsøge at rette de fejl, vi identificerer.
Men selv når eksperterne ikke finder en specifik trussel, giver potentialet for den os stadig en følelse af ubehag. Vi sidder tilbage og spørger: "Hvad nu, hvis de har overset noget?"
