OpenAI har for nylig afsløret, at bestyrelsen har bemyndigelse til at tilsidesætte den administrerende direktørs beslutninger om at frigive nye AI-modeller, selv om de er blevet vurderet som sikre af virksomhedens ledelse.
Disse oplysninger blev beskrevet i et sæt retningslinjer, der blev præsenteret mandag, og som skitserer virksomhedens strategi for at imødegå potentielle ekstreme risici, som dens mest avancerede AI-systemer udgør.
Mens ledelsesteamet i første omgang kan beslutte at frigive et nyt AI-system, bevarer bestyrelsen retten til at omgøre sådanne beslutninger.
Sam Altman, OpenAI's CEO, blev afskediget fra sit job og på dramatisk vis genansat, hvilket understreger en besynderlig magtdynamik mellem virksomhedens direktører og ledere.
I kølvandet spekulerede mange i, at Altman ikke havde været tilstrækkeligt opmærksom på modelsikkerhed, at han så at sige var blevet "opslugt af sit arbejde". Senere rapporter såede tvivl om det, inklusive Microsofts præsident Brad Smith, som sagde, at han fandt det usandsynligt at sikkerhed var hovedmotivet.
Der var også den ikke uvæsentlige omstændighed, at OpenAI var blevet vurderet meget højt, og at medarbejderne ønskede at indløse deres aktieoptioner.
Business Insider hævdede at OpenAI-medarbejdere brugte deres åbne brev om, at de ville forlade virksomheden, hvis Altman ikke blev genansat, som forhandlingsmiddel. En medarbejder sagde endda, at han var en dårlig CEO, selvom disse rapporter er ubekræftede.
OpenAI har nu handlet for at dæmpe frygten for, at de ikke tager AI sikkert, først ved at offentliggøre resultaterne af deres nye "superalignment"-eksperiment og også ved at øge "kræfterne" i deres "beredskabsteam".
OpenAI's Beredskabsteamledet af Aleksander Madry, der i øjeblikket har orlov fra MIT, vurderer løbende AI-systemer på tværs af forskellige risikokategorier, herunder cybersikkerhed og trusler relateret til kemiske, nukleare og biologiske domæner.
Dette team har til formål at identificere og afbøde eventuelle væsentlige farer forbundet med teknologien. Ifølge retningslinjerne kan risici, der er klassificeret som "katastrofale", føre til betydelig økonomisk skade eller alvorlig skade på mange enkeltpersoner.
Madry forklarede processen og sagde: "AI er ikke noget, der bare sker for os, og som kan være godt eller skidt. Det er noget, vi former." Han udtrykte desuden håb om, at andre virksomheder ville tage OpenAI's retningslinjer for risikovurdering til sig.
Hans team, som blev dannet i oktober som en del af tre separate grupper, der fører tilsyn med AI-sikkerhed hos OpenAI, vil evaluere uudgivne AI-modeller og klassificere de opfattede risici som "lav", "middel", "høj" eller "kritisk". Kun modeller med vurderingen "middel" eller "lav" vil blive overvejet til frigivelse.
Vi systematiserer vores sikkerhedstænkning med vores Preparedness Framework, et levende dokument (i øjeblikket i beta), som beskriver de tekniske og operationelle investeringer, vi foretager for at styre sikkerheden i vores udvikling af frontier-modeller.https://t.co/vWvvmR9tpP
- OpenAI (@OpenAI) 18. december 2023
Om deres nye politikker om X sagde OpenAI: "Vi systematiserer vores sikkerhedstænkning med vores Preparedness Framework, et levende dokument (i øjeblikket i beta), som beskriver de tekniske og operationelle investeringer, vi foretager for at styre sikkerheden i vores udvikling af frontier-modeller."
Ud over disse foranstaltninger har OpenAI en intern sikkerhedsrådgivningsgruppe, som gennemgår Madrys teams resultater og kommer med anbefalinger til Altman og bestyrelsen.
