Förra veckan träffades ledande AI-forskare vid den andra internationella dialogen om AI-säkerhet i Peking för att komma överens om "röda linjer" för AI-utveckling för att mildra existentiella risker.
På listan över datavetare fanns kända namn som Turing Award-vinnarna Yoshua Bengio och Geoffrey Hinton, ofta kallade "gudfäderna" inom AI, och Andrew Yao, en av Kinas mest framstående datavetare.
Bengio förklarade det akuta behovet av internationella diskussioner om att bromsa AI-utvecklingen och sa: "Vetenskapen vet inte hur man ska se till att dessa framtida AI-system, som vi kallar AGI, är säkra. Vi bör redan nu börja arbeta med både vetenskapliga och politiska lösningar på det här problemet."
I ett gemensamt uttalande undertecknat av forskarna framhölls deras känsla av oro över riskerna med AI och behovet av en internationell dialog.
Uttalandet "Under det kalla krigets djup bidrog internationell vetenskaplig och statlig samordning till att avvärja en termonukleär katastrof. Mänskligheten behöver återigen samordna sig för att avvärja en katastrof som kan uppstå genom en aldrig tidigare skådad teknik."
AI:s röda linjer
Listan på röda linjer för AI-utveckling, som i uttalandet kallas "icke uttömmande", omfattar följande:
Autonom replikering eller förbättring - Inget AI-system ska kunna kopiera eller förbättra sig självt utan uttryckligt mänskligt godkännande och hjälp. Detta omfattar både exakta kopior av sig självt och skapandet av nya AI-system med liknande eller större förmågor.
Kraftsökande - Inget AI-system bör vidta åtgärder för att otillbörligt öka sin makt och sitt inflytande.
Stöd till vapenutveckling - Inga AI-system får väsentligt öka aktörers förmåga att utforma massförstörelsevapen (WMD) eller bryta mot konventionen om biologiska eller kemiska vapen.
Cyberattacker - Inget AI-system ska självständigt kunna utföra cyberattacker som leder till allvarliga ekonomiska förluster eller motsvarande skada.
Bedrägeri - Inget AI-system ska konsekvent kunna få sina konstruktörer eller tillsynsmyndigheter att missuppfatta dess sannolikhet eller förmåga att överskrida någon av de föregående röda linjerna.
Det låter som goda idéer, men är denna globala önskelista för AI-utveckling realistisk? Forskarna var optimistiska i sitt uttalande: "Att se till att dessa röda linjer inte överskrids är möjligt, men det kommer att kräva en samlad insats för att utveckla både förbättrade styrsystem och tekniska säkerhetsmetoder."
Den som tar en mer fatalistisk titt på punkterna på listan kan dra slutsatsen att ett antal av dessa AI-hästar redan har skenat iväg. Eller är på väg att göra det.
Autonom replikering eller förbättring? Hur lång tid tar det innan en AI-kodningsverktyg som Devin kan göra det?
Maktsökande? Läste dessa forskare några av de upprörda saker som Copilot sa när det gick utanför manus och bestämde att den skulle dyrkas?
När det gäller att hjälpa till med utformningen av massförstörelsevapen eller automatisera cyberattacker skulle det vara naivt att tro att Kina och västmakterna inte gör redan detta.
När det gäller bedrägeri har vissa AI-modeller som Claude 3 Opus redan antydde att de visste när de testades under utbildningen. Om en AI-modell dolde sin avsikt att korsa någon av dessa röda linjer, skulle vi då kunna se det?
Noterbart frånvarande från diskussionerna var representanter från e / acc-sidan av AI-domedagsgången, som Meta Chief AI Scientist Yann LeCun.
Förra året sa LeCun att tanken på att AI skulle utgöra ett existentiellt hot mot mänskligheten är "absurt löjlig" och instämde i Marc Andreesens uttalande att "AI kommer att rädda världen", inte döda den.
Låt oss hoppas att de har rätt. För det är inte troligt att de röda linjerna förblir oöverskridna.
