AI-utvecklingen har gått snabbt, vilket innebär att regleringen måste komma ikapp och att styrningen är något av en eftertanke.
Det finns få formella processer för att säkerställa AI-säkerhet, och forskarna menar att det är upp till branschen att ändra på det.
Många AI-ledare och personer inom branschen har jämfört AI med kärnkraft. Det finns många likheter - AI växer snabbt, utgör en potentiellt existentiell risk och kompliceras av utrikespolitiska frågor, den här gången mellan de framväxande AI-supermakterna USA och Kina.
Det tog årtionden innan kärnkraftsingenjörerna övertygade forskarsamhället om kärnkraftsreaktorernas säkerhet. De första reaktorerna byggdes i slutet av 40-talet och början av 50-talet, och det var inte förrän USA:s Atomic Energy Act från 1954 som någon form av reglering kom till stånd.
Den amerikanska regeringen var medveten om riskerna med kärnkraft, men Sovjetunionen tog sin första civila reaktor i drift i mitten av 1954, så de slösade ingen tid på att bygga sin egen. År 1955 sade kommissionären Willard F. Libby: "Vår stora risk är att denna stora fördel för mänskligheten kommer att dödas i förtid av onödiga regleringar."
Är det något här som låter bekant? Det var bara förra månaden som OpenAI:s VD Sam Altman uppmanat till ett internationellt organ för AI-säkerhet som Internationella atomenergiorganet (IAEA), som grundades 1957. Precis som med kärnkraft är gngar runt om i världen arbetar med att ta reda på hur man ska bevara fördelarna med AI och samtidigt reglera riskerna.
IAEA var en fristående del av FN och har idag 174 medlemsländer. Efter 1957 inträffade relativt få kärnkraftskatastrofer fram till Tjernobyl.
AI bör lära sig av historien om kärnsäkerhet
Heidy Khlaaf, teknisk direktör på konsultföretaget inom cybersäkerhet Spår av bitar, som används för att bedöma och verifiera säkerheten vid kärnkraftverk. Hon berättade nyligen för MIT att kärnkraftverk kräver tusentals dokument som intygar deras säkerhet och som går in på de minsta nyanserna i varje enskild komponent.
Efter Tjernobyl blev regleringen av kärnkraften extremt strikt. Planering, tillståndsgivning och byggande av en kärnkraftsreaktor kan ta 10 år eller mer, delvis på grund av att processen övervakas så noggrant vid varje steg. Khlaaf påpekar att detta inte har något med vinster att göra - kärnsäkerhet är en följd av en verklig existentiell risk.
AI-företagen rapporterar däremot sina modeller med hjälp av enkla "kort" som i huvudsak listar funktioner.
Dessutom är modellens inre arbete ofta en "svart låda", vilket innebär att beslutsprocesserna till stor del är stängda för externa observatörer.
Till och med ChatGPT är, i motsats till OpenAI:s namne, en svart låda, och AI-företag har redan etablerat ett rykte om sig att vara förtegna om sina modeller och träningsdata.
Tänk om kärnkraftsreaktorer var en "svart låda" och deras utvecklare inte skulle berätta för allmänheten hur de fungerar?
Analys av AI-risker måste vara systematisk
För att minska de risker som AI-ledare som Altman gärna erkänner måste företagen gå djupare med sina spårbarhetsstrategier. Detta innebär en rigorös övervakning redan från början av AI-utvecklingsprocessen.
Khlaaf säger: "Man måste ha ett systematiskt sätt att gå igenom riskerna. Det är inte ett scenario där man bara säger: 'Åh, det här kan hända. Låt mig bara skriva ner det."
För närvarande finns det ingen etablerad process för riskbedömning av AI, men det har gjorts vissa försök att skapa en sådan.
Till exempel, DeepMind publicerade nyligen en teknisk blogg i samarbete med flera universitet, där det anges att modeller ska utvärderas för "extrema risker" före träning. I rapporten föreslås två strategier:
- Utvärdera omfattningen av en modells "farliga förmågor" som kan användas för att hota säkerheten, utöva inflytande eller undkomma mänsklig tillsyn.
- Utvärdering av hur stor risk en modell har att orsaka skada, t.ex. om det finns risk för att den inte fungerar som avsett.
Toby Shevlane, en av forskarna i projektet, sa: "Ledande AI-företag som flyttar fram gränserna har ett ansvar att vara vaksamma på nya problem och upptäcka dem tidigt så att vi kan ta itu med dem så snart som möjligt."
Om AI ska lära sig av kärnsäkerhet är tidig reglering avgörande, men långsiktig självbelåtenhet är dödlig. Ingen vet hur en AI-version av Tjernobyl eller Fukushima skulle se ut, och ingen vill ta reda på det.
