OpenAI:s styrelse bildar säkerhets- och skyddskommitté

29 maj 2024

  • OpenAI:s styrelse bildade en säkerhets- och trygghetskommitté för att utveckla processer och skyddsåtgärder
  • Kommittén kommer att ge styrelsen råd om viktiga säkerhets- och trygghetsbeslut
  • OpenAI säger att man har börjat träna sin next frontier-modell med "nästa nivå av kapacitet"

OpenAI:s styrelse tillkännagav bildandet av en Safety and Security Committee som har till uppgift att ge rekommendationer om kritiska säkerhets- och trygghetsbeslut för alla OpenAI-projekt.

Kommittén leds av styrelseledamöterna Bret Taylor (ordförande), Adam D'Angelo, Nicole Seligman och OpenAI:s VD Sam Altman.

Aleksander Madry (Head of Preparedness), Lilian Weng (Head of Safety Systems), John Schulman (Head of Alignment Science), Matt Knight (Head of Security) och Jakub Pachocki (Chief Scientist) kommer också att ingå i kommittén.

OpenAI:s inställning till AI-säkerhet har mött både extern och intern kritik. Förra årets avskedande av Altman stöddes av den dåvarande styrelseledamoten Ilya Sutskever och andra, uppenbarligen av säkerhetsskäl.

Förra veckan presenterade Sutskever och Jan Leike från OpenAI:s "superalignment"-team lämnade företaget. Leike noterade specifikt säkerhetsfrågor som hans anledning till att lämna och sa att företaget lät säkerheten "ta en baksäte till glänsande produkter".

Igår meddelade Leike att han ansluter sig till Anthropic för att arbeta med tillsyn och anpassningsforskning.

Nu är Altman inte bara tillbaka som VD, utan sitter också i den kommitté som ansvarar för att belysa säkerhetsfrågor. Den tidigare styrelseledamoten Helen Toners insikter om varför Altman fick sparken får en att undra hur öppen han kommer att vara om säkerhetsfrågor som kommittén upptäcker.

Tydligen fick OpenAI-styrelsen reda på lanseringen av ChatGPT via Twitter.

Säkerhets- och skyddskommittén kommer att använda de kommande 90 dagarna för att utvärdera och vidareutveckla OpenAI:s processer och skyddsåtgärder.

Rekommendationerna kommer att läggas fram för OpenAI:s styrelse för godkännande och företaget har åtagit sig att publicera de antagna säkerhetsrekommendationerna.

Detta tryck för ytterligare skyddsräcken kommer när OpenAI säger att de har börjat träna sin nästa gränsmodell som de säger kommer att "ta oss till nästa nivå av kapacitet på vår väg till AGI."

Inget förväntat lanseringsdatum angavs för den nya modellen, men enbart utbildningen kommer förmodligen att ta veckor om inte månader.

I en uppdatering av sin säkerhetsstrategi som publicerades efter AI Seoul Summit sa OpenAI: "Vi kommer inte att släppa en ny modell om den passerar en "Medium" risktröskel från vårt beredskapsramverk, förrän vi genomför tillräckliga säkerhetsinterventioner för att få tillbaka poängen efter begränsning till "Medium"."

Mer än 70 externa experter var involverade i arbetet med red teaming GPT-4o innan den släpptes.

Med 90 dagar kvar innan kommittén presenterar sina resultat för styrelsen, en nyligen påbörjad utbildning och ett åtagande om omfattande red teaming, ser det ut som om vi får vänta länge innan vi äntligen får GPT-5.

Eller menar de att de precis har börjat träna GPT-6?

 

Bli en del av framtiden


PRENUMERERA IDAG

Tydlig, kortfattad och heltäckande. Få grepp om AI-utvecklingen med DagligaAI

Eugene van der Watt

Eugene kommer från en bakgrund som elektronikingenjör och älskar allt som har med teknik att göra. När han tar en paus från att konsumera AI-nyheter hittar du honom vid snookerbordet.

×

GRATIS PDF EXKLUSIV
Ligg steget före med DailyAI

Registrera dig för vårt veckovisa nyhetsbrev och få exklusiv tillgång till DailyAI:s senaste e-bok: "Mastering AI Tools: Din 2024-guide till förbättrad produktivitet".

*Genom att prenumerera på vårt nyhetsbrev accepterar du vår Integritetspolicy och våra Villkor och anvisningar