OpenAI:s styrelse tillkännagav bildandet av en Safety and Security Committee som har till uppgift att ge rekommendationer om kritiska säkerhets- och trygghetsbeslut för alla OpenAI-projekt.
Kommittén leds av styrelseledamöterna Bret Taylor (ordförande), Adam D'Angelo, Nicole Seligman och OpenAI:s VD Sam Altman.
Aleksander Madry (Head of Preparedness), Lilian Weng (Head of Safety Systems), John Schulman (Head of Alignment Science), Matt Knight (Head of Security) och Jakub Pachocki (Chief Scientist) kommer också att ingå i kommittén.
OpenAI:s inställning till AI-säkerhet har mött både extern och intern kritik. Förra årets avskedande av Altman stöddes av den dåvarande styrelseledamoten Ilya Sutskever och andra, uppenbarligen av säkerhetsskäl.
Förra veckan presenterade Sutskever och Jan Leike från OpenAI:s "superalignment"-team lämnade företaget. Leike noterade specifikt säkerhetsfrågor som hans anledning till att lämna och sa att företaget lät säkerheten "ta en baksäte till glänsande produkter".
Igår meddelade Leike att han ansluter sig till Anthropic för att arbeta med tillsyn och anpassningsforskning.
Jag ser fram emot att gå med AnthropicAI?ref_src=twsrctfw">@@AnthropicAI för att fortsätta superalignment-uppdraget!
Mitt nya team kommer att arbeta med skalbar tillsyn, svag-till-stark generalisering och automatiserad inriktningsforskning.
Om du är intresserad av att gå med, är mina dms öppna.
- Jan Leike (@janleike) 28 maj 2024
Nu är Altman inte bara tillbaka som VD, utan sitter också i den kommitté som ansvarar för att belysa säkerhetsfrågor. Den tidigare styrelseledamoten Helen Toners insikter om varför Altman fick sparken får en att undra hur öppen han kommer att vara om säkerhetsfrågor som kommittén upptäcker.
Tydligen fick OpenAI-styrelsen reda på lanseringen av ChatGPT via Twitter.
❗EXCLUSIVE: "Vi lärde oss om ChatGPT på Twitter."
Vad hände egentligen på OpenAI? Den tidigare styrelseledamoten Helen Toner bryter sin tystnad med nya chockerande uppgifter om Sam Altmanavskedande. Hör den exklusiva, okända historien på The TED AI Show.
Här är bara en liten förhandstitt: pic.twitter.com/7hXHcZTP9e
- Bilawal Sidhu (@bilawalsidhu) 28 maj 2024
Säkerhets- och skyddskommittén kommer att använda de kommande 90 dagarna för att utvärdera och vidareutveckla OpenAI:s processer och skyddsåtgärder.
Rekommendationerna kommer att läggas fram för OpenAI:s styrelse för godkännande och företaget har åtagit sig att publicera de antagna säkerhetsrekommendationerna.
Detta tryck för ytterligare skyddsräcken kommer när OpenAI säger att de har börjat träna sin nästa gränsmodell som de säger kommer att "ta oss till nästa nivå av kapacitet på vår väg till AGI."
Inget förväntat lanseringsdatum angavs för den nya modellen, men enbart utbildningen kommer förmodligen att ta veckor om inte månader.
I en uppdatering av sin säkerhetsstrategi som publicerades efter AI Seoul Summit sa OpenAI: "Vi kommer inte att släppa en ny modell om den passerar en "Medium" risktröskel från vårt beredskapsramverk, förrän vi genomför tillräckliga säkerhetsinterventioner för att få tillbaka poängen efter begränsning till "Medium"."
Mer än 70 externa experter var involverade i arbetet med red teaming GPT-4o innan den släpptes.
Med 90 dagar kvar innan kommittén presenterar sina resultat för styrelsen, en nyligen påbörjad utbildning och ett åtagande om omfattande red teaming, ser det ut som om vi får vänta länge innan vi äntligen får GPT-5.
Eller menar de att de precis har börjat träna GPT-6?
