OpenAI heeft onlangs bekendgemaakt dat het bestuur de bevoegdheid heeft om beslissingen van de CEO met betrekking tot het uitbrengen van nieuwe AI-modellen terzijde te schuiven, zelfs als deze veilig zijn bevonden door de leiding van het bedrijf.
Deze informatie is gedetailleerd beschreven in een reeks richtlijnen die maandag zijn onthuld en waarin de strategie van het bedrijf wordt beschreven om potentiële extreme risico's van zijn meest geavanceerde AI-systemen aan te pakken.
Hoewel het managementteam in eerste instantie kan beslissen over de introductie van een nieuw AI-systeem, behoudt het bestuur het recht om dergelijke beslissingen terug te draaien.
Sam Altman, de CEO van OpenAI, werd uit zijn functie ontheven en op dramatische wijze weer aangenomen, wat een merkwaardige machtsdynamiek tussen de directeuren en leidinggevenden van het bedrijf aan het licht bracht.
In de nasleep speculeerden velen dat Altman niet goed had opgelet bij modelveiligheid, dat hij als het ware 'opging in zijn werk'. Latere rapporten trokken dat in twijfel, waaronder Microsoft President Brad Smith, die zei dat hij het onwaarschijnlijk achtte dat veiligheid het belangrijkste motief was.
Er was ook nog de niet onbelangrijke kwestie dat OpenAI een enorme waardering had gekregen en de werknemers hun aandelenopties wilden verzilveren.
Business Insider beweerde dat OpenAI werknemers hun open brief waarin ze stelden dat ze het bedrijf zouden verlaten als Altman niet zou terugkeren als onderhandelingstroef gebruikten. Eén werknemer zei zelfs dat hij een slechte CEO was, hoewel deze berichten onbevestigd zijn.
OpenAI heeft nu actie ondernomen om de angst weg te nemen dat ze AI niet op een veilige manier gebruiken, ten eerste door de resultaten van hun nieuwe "superuitlijning" experiment en ook door de "bevoegdheden" van hun "paraatheidsteam" te vergroten.
OpenAI's paraatheidsteamonder leiding van Aleksander Madry, die momenteel met verlof is bij het MIT, beoordelen voortdurend AI-systemen op verschillende risicocategorieën, waaronder cyberbeveiliging en bedreigingen op chemisch, nucleair en biologisch gebied.
Dit team heeft als doel het identificeren en beperken van significante gevaren die verbonden zijn aan de technologie. Volgens de richtlijnen kunnen risico's die als "catastrofaal" worden geclassificeerd leiden tot aanzienlijke economische schade of ernstige schade voor veel individuen.
Madry legde het proces uit: "AI is niet iets dat ons zomaar overkomt en dat goed of slecht kan zijn. Het is iets dat we vormgeven." Hij sprak verder zijn hoop uit dat andere bedrijven OpenAI's richtlijnen voor risicobeoordeling zullen overnemen.
Zijn team, dat in oktober werd gevormd als onderdeel van drie afzonderlijke groepen die toezicht houden op AI-veiligheid bij OpenAI, zal nog niet vrijgegeven AI-modellen evalueren en de waargenomen risico's classificeren als "laag", "gemiddeld", "hoog" of "kritiek". Alleen modellen met een beoordeling "gemiddeld" of "laag" komen in aanmerking voor vrijgave.
We systematiseren ons veiligheidsdenken met ons Preparedness Framework, een levend document (momenteel in bèta) dat details geeft over de technische en operationele investeringen die we doen om de veiligheid van onze grensverleggende modelontwikkeling te sturen.https://t.co/vWvvmR9tpP
- OpenAI (@OpenAI) 18 december 2023
Over hun nieuwe beleid met betrekking tot X zei OpenAI: "We systematiseren ons veiligheidsdenken met ons Preparedness Framework, een levend document (momenteel in bèta) dat de technische en operationele investeringen beschrijft die we doen om de veiligheid van onze grensverleggende modelontwikkeling te sturen."
Naast deze maatregelen heeft OpenAI een interne veiligheidsadviesgroep die de bevindingen van Madry's team beoordeelt en aanbevelingen doet aan Altman en het bestuur.
