Het bestuur van OpenAI kondigde de vorming aan van een Veiligheids- en Beveiligingscomité dat aanbevelingen moet doen over kritieke veiligheids- en beveiligingsbeslissingen voor alle OpenAI-projecten.
De commissie wordt geleid door directeuren Bret Taylor (voorzitter), Adam D'Angelo, Nicole Seligman en OpenAI's CEO Sam Altman.
Aleksander Madry (hoofd Paraatheid), Lilian Weng (hoofd Veiligheidssystemen), John Schulman (hoofd Uitlijningswetenschap), Matt Knight (hoofd Beveiliging) en Jakub Pachocki (hoofd Wetenschap) zullen ook deel uitmaken van de commissie.
OpenAI's benadering van AI-veiligheid heeft zowel externe als interne kritiek gekregen. Het ontslag van Altman vorig jaar werd gesteund door toenmalig bestuurslid Ilya Sutskever en anderen, ogenschijnlijk uit veiligheidsoverwegingen.
Vorige week hebben Sutskever en Jan Leike van OpenAI's "superalignment" team verliet het bedrijf. Leike noemde veiligheidskwesties specifiek als reden voor zijn vertrek en zei dat het bedrijf veiligheid "ondergeschikt maakte aan glanzende producten".
Gisteren kondigde Leike aan dat hij bij Anthropic ging werken aan overzicht en afstemmingsonderzoek.
Ik ben enthousiast om mee te doen AnthropicAI?ref_src=twsrctfw">@AnthropicAI om de superalignment-missie voort te zetten!
Mijn nieuwe team zal werken aan schaalbare oversight, zwak-naar-sterk generalisatie en geautomatiseerd alignment onderzoek.
Als je geïnteresseerd bent om mee te doen, mijn dms'en staan open.
- Jan Leike (@janleike) 28 mei 2024
Nu is Altman niet alleen terug als CEO, maar zit hij ook in de commissie die verantwoordelijk is voor het benadrukken van veiligheidsproblemen. De inzichten van voormalig bestuurslid Helen Toner in waarom Altman werd ontslagen, doen je afvragen hoe transparant hij zal zijn over veiligheidskwesties die de commissie ontdekt.
Blijkbaar hoorde het OpenAI-bestuur via Twitter over de release van ChatGPT.
EXCLUSIVE: "We hebben geleerd over ChatGPT op Twitter."
Wat er ECHT gebeurde bij OpenAI? Voormalig bestuurslid Helen Toner verbreekt haar stilzwijgen met schokkende nieuwe details over Sam Altmanzijn ontslag. Luister naar het exclusieve, onvertelde verhaal in de TED AI Show.
Hier is alvast een voorproefje: pic.twitter.com/7hXHcZTP9e
- Bilawal Sidhu (@bilawalsidhu) 28 mei 2024
Het Veiligheids- en Beveiligingscomité zal de komende 90 dagen gebruiken om OpenAI's processen en beveiligingen te evalueren en verder te ontwikkelen.
De aanbevelingen zullen ter goedkeuring worden voorgelegd aan het bestuur van OpenAI en het bedrijf heeft toegezegd de aangenomen veiligheidsaanbevelingen te publiceren.
Deze drang naar extra vangrails komt op het moment dat OpenAI zegt begonnen te zijn met het trainen van zijn volgende grensmodel, dat ons naar eigen zeggen "naar het volgende niveau van mogelijkheden zal brengen op ons pad naar AGI".
Er werd geen verwachte releasedatum gegeven voor het nieuwe model, maar de training alleen zal waarschijnlijk weken, zo niet maanden, duren.
In een update over de veiligheidsaanpak, gepubliceerd na de AI Seoul Summit, zei OpenAI: "We zullen geen nieuw model vrijgeven als het de risicodrempel "Gemiddeld" van ons Preparedness Framework overschrijdt, totdat we voldoende veiligheidsinterventies hebben geïmplementeerd om de post-mitigation score terug te brengen naar "Gemiddeld"."
Het bedrijf zei dat er meer dan 70 externe experts betrokken waren bij de red teaming GPT-4o voor de release.
Met nog 90 dagen te gaan voordat de commissie haar bevindingen presenteert aan het bestuur, pas onlangs begonnen met de training en een verplichting tot uitgebreide red teaming, lijkt het erop dat we nog lang moeten wachten voordat GPT-5 eindelijk een feit is.
Of bedoelen ze dat ze net zijn begonnen met het trainen van GPT-6?
