OpenAI har nyligen avslöjat att dess styrelse har befogenhet att åsidosätta beslut som fattas av VD om lansering av nya AI-modeller, även om dessa har bedömts som säkra av bolagets ledning.
Informationen finns i en uppsättning riktlinjer som presenterades på måndagen och som beskriver bolagets strategi för att hantera de potentiella extrema risker som dess mest avancerade AI-system utgör.
Ledningsgruppen kan initialt besluta om lansering av ett nytt AI-system, men styrelsen behåller rätten att upphäva sådana beslut.
Sam Altman, OpenAI:s VD, avskedades från sitt jobb och återinsattes på ett dramatiskt sätt, vilket belyser en märklig maktdynamik mellan bolagets styrelseledamöter och chefer.
I efterdyningarna spekulerade många i att Altman inte hade varit tillräckligt uppmärksam på modellsäkerheten, att han hade "svepts med i sitt arbete", så att säga. Senare rapporter ifrågasatte detta, bland annat från Microsofts VD Brad Smith, som sa att han tyckte att det var osannolikt att säkerheten var huvudmotivet.
Till saken hörde också att OpenAI hade fått en enorm värdering och att de anställda ville lösa in sina aktieoptioner.
Business Insider påstod att OpenAI-anställda använde sitt öppna brev om att de skulle lämna företaget om Altman inte återanställdes som ett förhandlingsargument. En anställd sa till och med att han var en dålig VD, även om dessa rapporter är obekräftade.
OpenAI har nu agerat för att dämpa farhågorna om att de inte tar AI på ett säkert sätt, först genom att publicera resultaten av deras nya "experiment "superalignment och även genom att öka "befogenheterna" för deras "beredskaps"-team.
OpenAI:s beredskapsgruppunder ledning av Aleksander Madry, som för närvarande är tjänstledig från MIT, utvärderar kontinuerligt AI-system inom olika riskkategorier, inklusive cybersäkerhet och hot relaterade till kemiska, nukleära och biologiska domäner.
Detta team har till uppgift att identifiera och minska alla betydande faror som är förknippade med tekniken. Enligt riktlinjerna kan risker som klassificeras som "katastrofala" leda till betydande ekonomisk skada eller allvarlig skada för många individer.
Madry förklarade processen och sa: "AI är inte något som bara händer oss och som kan vara bra eller dåligt. Det är något som vi formar." Han uttryckte vidare sin förhoppning om att andra företag skulle anta OpenAI:s riktlinjer för riskbedömning.
Hans team, som bildades i oktober som en del av tre separata grupper som övervakar AI-säkerheten vid OpenAI, kommer att utvärdera outgivna AI-modeller och klassificera de upplevda riskerna som "låg", "medel", "hög" eller "kritisk". Endast modeller som klassas som "medel" eller "låg" kommer att övervägas för publicering.
Vi systematiserar vårt säkerhetstänkande med vårt Preparedness Framework, ett levande dokument (för närvarande i betaversion) som beskriver de tekniska och operativa investeringar vi gör för att styra säkerheten i vår utveckling av frontier-modeller.https://t.co/vWvvmR9tpP
- OpenAI (@OpenAI) 18 december 2023
På tal om deras nya policyer om X sa OpenAI: "Vi systematiserar vårt säkerhetstänkande med vårt beredskapsramverk, ett levande dokument (för närvarande i beta) som beskriver de tekniska och operativa investeringar som vi antar för att styra säkerheten för vår utveckling av gränsmodeller."
Utöver dessa åtgärder har OpenAI en intern rådgivande säkerhetsgrupp som granskar Madrys teams resultat och ger rekommendationer till Altman och styrelsen.
