OpenAI's bestyrelse annoncerede dannelsen af en Safety and Security Committee, som har til opgave at komme med anbefalinger om kritiske sikkerhedsafgørelser for alle OpenAI-projekter.
Udvalget ledes af bestyrelsesmedlemmerne Bret Taylor (formand), Adam D'Angelo, Nicole Seligman og OpenAI's CEO Sam Altman.
Aleksander Madry (Head of Preparedness), Lilian Weng (Head of Safety Systems), John Schulman (Head of Alignment Science), Matt Knight (Head of Security) og Jakub Pachocki (Chief Scientist) vil også være med i udvalget.
OpenAI's tilgang til AI-sikkerhed har været udsat for både ekstern og intern kritik. Sidste års fyring af Altman blev støttet af det daværende bestyrelsesmedlem Ilya Sutskever og andre, angiveligt på grund af sikkerhedshensyn.
I sidste uge var Sutskever og Jan Leike fra OpenAI's "superalignment"-team forlod virksomheden. Leike nævnte specifikt sikkerhedsspørgsmål som årsag til sin afgang og sagde, at virksomheden lod sikkerheden "komme i anden række i forhold til skinnende produkter".
I går meddelte Leike, at han slutter sig til Anthropic for at arbejde med tilsyn og forskning i tilpasning.
Jeg glæder mig til at være med AnthropicAI?ref_src=twsrctfw">@AnthropicAI for at fortsætte superalignment-missionen!
Mit nye team vil arbejde med skalerbar overvågning, svag-til-stærk generalisering og automatiseret alignment-forskning.
Hvis du er interesseret i at være med, er mine dms'er åbne.
- Jan Leike (@janleike) 28. maj 2024
Nu er Altman ikke kun tilbage som CEO, men sidder også i det udvalg, der er ansvarligt for at belyse sikkerhedsspørgsmål. Tidligere bestyrelsesmedlem Helen Toners indsigt i, hvorfor Altman blev fyret, får en til at spekulere på, hvor åben han vil være om de sikkerhedsproblemer, udvalget opdager.
OpenAI's bestyrelse fik åbenbart nys om udgivelsen af ChatGPT via Twitter.
❗EXCLUSIVE: "Vi lærte om ChatGPT på Twitter."
Hvad skete der VIRKELIG på OpenAI? Tidligere bestyrelsesmedlem Helen Toner bryder sin tavshed med chokerende nye detaljer om Sam Altman's fyring. Hør den eksklusive, ufortalte historie på The TED AI Show.
Her er bare et smugkig: pic.twitter.com/7hXHcZTP9e
- Bilawal Sidhu (@bilawalsidhu) 28. maj 2024
Sikkerhedsudvalget vil bruge de næste 90 dage på at evaluere og videreudvikle OpenAI's processer og sikkerhedsforanstaltninger.
Anbefalingerne vil blive forelagt OpenAI's bestyrelse til godkendelse, og virksomheden har forpligtet sig til at offentliggøre de vedtagne sikkerhedsanbefalinger.
Dette pres for yderligere sikkerhedsforanstaltninger kommer, da OpenAI siger, at de er begyndt at træne deres næste grænsemodel, som de siger vil "bringe os til det næste niveau af muligheder på vores vej mod AGI."
Der blev ikke oplyst nogen forventet udgivelsesdato for den nye model, men alene træningen vil sandsynligvis tage uger, hvis ikke måneder.
I en opdatering om sin tilgang til sikkerhed, der blev offentliggjort efter AI Seoul Summit, sagde OpenAI: "Vi frigiver ikke en ny model, hvis den krydser en "medium" risikotærskel fra vores beredskabsramme, før vi implementerer tilstrækkelige sikkerhedsinterventioner til at bringe scoren efter afhjælpning tilbage til "medium"."
Den sagde, at mere end 70 eksterne eksperter var involveret i red teaming GPT-4o før udgivelsen.
Der er 90 dage til, at udvalget præsenterer sine resultater for bestyrelsen, træningen er først begyndt for nylig, og der er en forpligtelse til omfattende red teaming, så det ser ud til, at vi skal vente længe, før vi endelig får GPT-5.
Eller mener de, at de lige er begyndt at træne GPT-6?
