I forrige uke møttes ledende KI-forskere til den andre internasjonale dialogen om KI-sikkerhet i Beijing for å bli enige om "røde linjer" for KI-utvikling for å redusere eksistensielle risikoer.
På listen over dataforskere finner vi kjente navn som Turing-prisvinnerne Yoshua Bengio og Geoffrey Hinton, som ofte kalles "gudfedrene" innen kunstig intelligens, og Andrew Yao, en av Kinas mest fremtredende dataforskere.
Bengio forklarte det presserende behovet for internasjonale diskusjoner om å bremse utviklingen av kunstig intelligens, og sa: "Vitenskapen vet ikke hvordan vi skal sørge for at disse fremtidige AI-systemene, som vi kaller AGI, er trygge. Vi bør begynne å jobbe med en gang med både vitenskapelige og politiske løsninger på dette problemet."
I en felles uttalelse undertegnet av forskerne ble deres uro over risikoen for kunstig intelligens og behovet for internasjonal dialog satt på spissen.
Uttalelsen sa: "Under den kalde krigen bidro internasjonal vitenskapelig og statlig koordinering til å avverge en termonukleær katastrofe. Menneskeheten må igjen samordne seg for å avverge en katastrofe som kan oppstå som følge av en teknologi uten sidestykke."
AI røde linjer
Listen over røde linjer for AI-utvikling, som i uttalelsen ble kalt "ikke-uttømmende", omfatter følgende
Autonom replikering eller forbedring - Ingen AI-systemer skal kunne kopiere eller forbedre seg selv uten eksplisitt menneskelig godkjenning og assistanse. Dette omfatter både eksakte kopier av seg selv og oppretting av nye AI-systemer med lignende eller større evner.
Kraftsøkende - Ingen AI-systemer bør iverksette tiltak for å øke sin egen makt og innflytelse på en utilbørlig måte.
Bistår med våpenutvikling - Ingen AI-systemer skal i vesentlig grad øke aktørenes evne til å konstruere masseødeleggelsesvåpen (MØV) eller bryte konvensjonen om biologiske eller kjemiske våpen.
Cyberangrep - Ingen AI-systemer bør være i stand til å utføre selvstendige dataangrep som fører til alvorlige økonomiske tap eller tilsvarende skade.
Bedrageri - Ingen AI-systemer bør konsekvent kunne føre til at utviklerne eller tilsynsmyndighetene misforstår sannsynligheten for eller evnen til å overskride noen av de foregående røde linjene.
Dette høres ut som gode ideer, men er denne globale ønskelisten for AI-utvikling realistisk? Forskerne var optimistiske i sin uttalelse: "Det er mulig å sikre at disse røde linjene ikke overskrides, men det vil kreve en samlet innsats for å utvikle både bedre styringsregimer og tekniske sikkerhetsmetoder."
Den som ser mer fatalistisk på punktene på listen, vil kanskje konkludere med at en rekke av disse AI-hestene allerede har stukket av. Eller er i ferd med å gjøre det.
Autonom replikasjon eller forbedring? Hvor lang tid tar det før en AI-kodingsverktøy som Devin kan gjøre det?
Maktsøkende? Leste disse forskerne noe av det Copilot sa da det gikk over styr og besluttet at den skulle tilbedes?
Når det gjelder å bistå i utformingen av masseødeleggelsesvåpen eller automatisere cyberangrep, ville det være naivt å tro at Kina og vestlige makter ikke allerede gjør dette.
Når det gjelder bedrag, har noen AI-modeller som Claude 3 Opus allerede antydet at de vet når de blir testet under opplæring. Hvis en AI-modell skjulte sin intensjon om å krysse noen av disse røde linjene, ville vi da kunne se det?
Representanter fra e/acc-siden av AI-dommedagsfløyen, som Meta Chief AI Scientist Yann LeCun, var ikke til stede i diskusjonene.
I fjor sa LeCun at ideen om at AI utgjør en eksistensiell trussel mot menneskeheten, er "latterlig latterlig", og han sa seg enig med Marc Andreesen i at "AI vil redde verden", ikke drepe den.
La oss håpe de har rett. For de røde linjene kommer neppe til å forbli uoverskredet.
