OpenAI har nylig avslørt at styret har myndighet til å overstyre beslutninger som er tatt av administrerende direktør om lansering av nye AI-modeller, selv om disse har blitt vurdert som trygge av selskapets ledelse.
Denne informasjonen ble beskrevet i et sett med retningslinjer som ble offentliggjort mandag, og som skisserer selskapets strategi for å håndtere potensielle ekstreme risikoer som de mest avanserte AI-systemene kan utgjøre.
Selv om ledergruppen i første omgang kan bestemme om et nytt AI-system skal lanseres, har styret rett til å omgjøre slike beslutninger.
Sam Altman, OpenAIs administrerende direktør, ble avskjediget fra jobben, men ble på dramatisk vis gjeninnsatt, noe som understreker en merkelig maktdynamikk mellom selskapets styremedlemmer og ledere.
I etterkant spekulerte mange i at Altman ikke hadde vært tilstrekkelig oppmerksom på modellsikkerheten, at han hadde blitt "oppslukt av arbeidet sitt", for å si det slik. Senere rapporter så tvil om dette, blant annet fra Microsofts president Brad Smith, som sa at han mente det var usannsynlig at sikkerhet var hovedmotivet.
Det var også en ikke ubetydelig faktor at OpenAI hadde fått en enorm verdivurdering, og at de ansatte ønsket å innløse aksjeopsjonene sine.
Business Insider hevdet at OpenAI-ansatte brukte sitt åpne brev om at de ville forlate selskapet hvis Altman ikke ble gjeninnsatt som et forhandlingskort. En ansatt sa til og med at han var en dårlig administrerende direktør, selv om disse rapportene er ubekreftede.
OpenAI har nå tatt grep for å dempe frykten for at de ikke tar AI på en trygg måte, først ved å publisere resultatene av deres nye "superalignment"-eksperimentet og også ved å øke "kreftene" til "beredskapsteamet" deres.
OpenAIs beredskapsteam, ledet av Aleksander Madry, som for tiden har permisjon fra MIT, vurderer kontinuerlig AI-systemer på tvers av ulike risikokategorier, inkludert cybersikkerhet og trusler knyttet til kjemiske, kjernefysiske og biologiske domener.
Dette teamet har som mål å identifisere og redusere eventuelle betydelige farer forbundet med teknologien. I henhold til retningslinjene kan risikoer som klassifiseres som "katastrofale", føre til betydelig økonomisk skade eller alvorlig skade på mange enkeltpersoner.
Madry forklarte prosessen slik: "AI er ikke noe som bare skjer med oss, og som kan være bra eller dårlig. Det er noe vi former." Han uttrykte videre et håp om at andre selskaper vil ta i bruk OpenAIs retningslinjer for risikovurdering.
Teamet hans, som ble dannet i oktober som en del av tre separate grupper som fører tilsyn med AI-sikkerhet hos OpenAI, skal evaluere uutgitte AI-modeller og klassifisere den opplevde risikoen som "lav", "middels", "høy" eller "kritisk". Bare modeller som vurderes som "middels" eller "lav", vil bli vurdert for frigivelse.
Vi systematiserer sikkerhetstenkningen vår med vårt Preparedness Framework, et levende dokument (for tiden i betaversjon) som beskriver de tekniske og operasjonelle investeringene vi tar i bruk for å styre sikkerheten i utviklingen av pionermodellene våre.https://t.co/vWvvmR9tpP
- OpenAI (@OpenAI) 18. desember 2023
Om de nye retningslinjene for X sa OpenAI: "Vi systematiserer sikkerhetstenkningen vår med vårt Preparedness Framework, et levende dokument (for tiden i betaversjon) som beskriver de tekniske og operasjonelle investeringene vi tar i bruk for å styre sikkerheten i utviklingen av grensemodellene våre."
I tillegg til disse tiltakene har OpenAI en intern rådgivende sikkerhetsgruppe som gjennomgår funnene til Madrys team og kommer med anbefalinger til Altman og styret.
