OpenAIs styre kunngjorde opprettelsen av en Safety and Security Committee, som har til oppgave å komme med anbefalinger om kritiske sikkerhetsavgjørelser for alle OpenAI-prosjekter.
Komiteen ledes av styremedlemmene Bret Taylor (leder), Adam D'Angelo, Nicole Seligman og OpenAIs administrerende direktør Sam Altman.
Aleksander Madry (beredskapssjef), Lilian Weng (leder for sikkerhetssystemer), John Schulman (leder for Alignment Science), Matt Knight (sikkerhetssjef) og Jakub Pachocki (sjefsforsker) vil også sitte i komiteen.
OpenAIs tilnærming til AI-sikkerhet har møtt både ekstern og intern kritikk. Fjorårets oppsigelse av Altman ble støttet av blant andre det daværende styremedlemmet Ilya Sutskever, angivelig på grunn av sikkerhetshensyn.
I forrige uke ble Sutskever og Jan Leike fra OpenAIs "superalignment"-team forlot selskapet. Leike nevnte spesielt sikkerhetsspørsmål som årsak til at han sluttet, og sa at selskapet lot sikkerheten "komme i bakgrunnen til fordel for skinnende produkter".
I går kunngjorde Leike at han begynner i Anthropic for å jobbe med tilsyn og forskning.
Jeg gleder meg til å bli med AnthropicAI?ref_src=twsrctfw">@AnthropicAI for å fortsette superalignment-oppdraget!
Det nye teamet mitt skal jobbe med skalerbar overvåking, svak-til-sterk generalisering og automatisert alignment-forskning.
Hvis du er interessert i å bli med, er dms-ene mine åpne.
- Jan Leike (@janleike) 28. mai 2024
Nå er Altman ikke bare tilbake som administrerende direktør, men sitter også i komiteen som er ansvarlig for å belyse sikkerhetsspørsmål. Tidligere styremedlem Helen Toners innsikt i hvorfor Altman fikk sparken, får deg til å lure på hvor åpen han vil være om sikkerhetsproblemer som komiteen oppdager.
Styret i OpenAI fikk tydeligvis vite om lanseringen av ChatGPT via Twitter.
❗EXCLUSIVE: "Vi lærte om ChatGPT på Twitter."
Hva skjedde egentlig på OpenAI? Tidligere styremedlem Helen Toner bryter tausheten med sjokkerende nye detaljer om Sam Altmanavskjedigelsen. Hør den eksklusive, ufortalte historien på The TED AI Show.
Her er bare en liten sniktitt: pic.twitter.com/7hXHcZTP9e
- Bilawal Sidhu (@bilawalsidhu) 28. mai 2024
Sikkerhetsutvalget vil bruke de neste 90 dagene til å evaluere og videreutvikle OpenAIs prosesser og sikkerhetstiltak.
Anbefalingene vil bli forelagt OpenAIs styre for godkjenning, og selskapet har forpliktet seg til å offentliggjøre de vedtatte sikkerhetsanbefalingene.
Dette presset for å få på plass flere rekkverk kommer samtidig som OpenAI sier at de har begynt å trene opp sin neste frontier-modell, som de sier vil "bringe oss til neste nivå av muligheter på veien mot AGI".
Det ble ikke oppgitt noen forventet lanseringsdato for den nye modellen, men opplæringen alene vil trolig ta uker, om ikke måneder.
I en oppdatering om sikkerhetstilnærmingen som ble publisert etter AI-toppmøtet i Seoul, sa OpenAI: "Vi vil ikke lansere en ny modell hvis den krysser en "middels" risikoterskel fra beredskapsrammeverket vårt, før vi har gjennomført tilstrekkelige sikkerhetstiltak for å bringe poengsummen etter avbøtende tiltak tilbake til "middels"."
Det ble sagt at mer enn 70 eksterne eksperter var involvert i red teamingen GPT-4o før utgivelsen.
Med 90 dager igjen før komiteen legger frem sine konklusjoner for styret, en opplæring som nylig er påbegynt og en forpliktelse til omfattende red teaming, ser det ut til at vi må vente lenge før vi endelig får GPT-5.
Eller mener de at de nettopp har begynt å trene GPT-6?
