Ilya Sutskever och Jan Leike från OpenAI"superalignment"-team avgick i veckan, vilket kastar en skugga över bolagets engagemang för ansvarsfull AI-utveckling under VD Sam Altman.
I synnerhet Leike skrädde inte orden. "Under de senaste åren har säkerhetskultur och säkerhetsprocesser fått stå tillbaka för glänsande produkter", sade han i en slutreplik och bekräftade därmed oron hos dem som observerade OpenAIs strävan efter avancerad AI.
Igår var min sista dag som alignment-chef, superalignment-ledare och verkställande direktör OpenAI?ref_src=twsrc%5Etfw”>@OpenAI.
- Jan Leike (@janleike) 17 maj 2024
Sutskever och Leike är de senaste i en allt längre lista av högprofilerade omorganisationer på OpenAI.
Sedan november 2023, då Altman med nöd och näppe överlevde ett kuppförsök i styrelserummet, har minst fem andra nyckelpersoner i superalignment-teamet antingen slutat eller tvingats bort:
- Daniel Kokotajlo, som anslöt sig till OpenAI 2022 i hopp om att styra företaget mot en ansvarsfull utveckling av artificiell allmän intelligens (AGI) - en mycket kapabel AI som motsvarar eller överträffar vår egen kognition - slutade i april 2024 efter att ha tappat tron på ledningens förmåga att "hantera AGI på ett ansvarsfullt sätt".
- Leopold Aschenbrenner och Pavel Izmailov, medlemmar i Superalignment-teamet, ska ha avskedats förra månaden för att ha "läckt" information, men OpenAI har inte lämnat några bevis för oegentligheter. Insiders spekulerar i att de var måltavlor för att de var Sutskevers allierade.
- Cullen O'Keefe, en annan säkerhetsforskare, slutade i april.
- William Saunders avgick i februari men är tydligen bunden av ett avtal om att inte diskutera sina skäl.
Amid these developments, OpenAI har enligt uppgift hotat att ta bort anställdas aktierätter om de kritiserar företaget eller Altman själv, enligt Vox.
Det har gjort det svårt att verkligen förstå frågan på OpenAI, but Det finns tecken som tyder på att säkerhets- och anpassningsinitiativen misslyckas, om de över huvud taget var uppriktiga.
OpenAI's kontroversiella intrig tätnar
OpenAIgrundades 2015 av Elon Musk och Sam Altmanvar helt engagerad i forskning med öppen källkod och ansvarsfull AI-utveckling.
Men i takt med att företagets vision har utvidgats under de senaste åren har det dragit sig tillbaka bakom stängda dörrar. År 2019, OpenAI officiellt övergått från en icke-vinstdrivande forskningslaboratorium till en "capped-profit"-enhetvilket ger upphov till oro för en övergång till kommersialisering framför transparens.
Sedan dess, OpenAI har skyddat sin forskning och sina modeller med järnhårda sekretessavtal och hot om rättsliga åtgärder mot anställda som vågar tala ut.
Andra viktiga kontroverser i startupbolagets korta historia inkluderar:
- År 2019, OpenAI förvånade AI-communityn genom att övergå från ett icke-vinstdrivande forskningslaboratorium till ett företag med "capped-profit", vilket innebar ett tydligt avsteg från företagets grundprinciper.
- Förra året kom rapporter om möten bakom stängda dörrar mellan OpenAI och militär- och försvarsorganisationer.
- Altmanhar höjt på ögonbrynen, från funderingar om AI-driven global styrning till att erkänna existentiella risker på ett sätt som framställer honom själv som pilot på ett skepp som han redan inte kan styra.
- I det allvarligaste slaget mot AltmanSutskever var själv en del av en grupp som arbetade med misslyckad kupp i styrelserummet i november 2023 som syftade till att avsätta VD. Altman lyckades klamra sig fast vid makten och visade att han är väl och riktigt knuten till bolaget på ett sätt som är svårt att bryta loss, även av styrelsen själv.
Styrelserumsdraman och grundarkriser är inte ovanliga i Silicon Valley, OpenAI's arbete, enligt deras eget erkännande, kan vara avgörande för det globala samhället.
Allmänheten, tillsynsmyndigheter och regeringar vill ha en konsekvent och okontroversiell styrning av OpenAImen startupbolagets korta och turbulenta historia tyder på allt annat.
OpenAI blir antihjälten inom generativ AI
Medan diagnostisering och karaktärsmord på Altman är oansvariga, men hans rapporterade historia av manipulation och strävan efter personliga visioner på bekostnad av medarbetare och allmänhetens förtroende väcker obekväma frågor.
I linje med detta har samtalen kring Altman och hans företag har blivit alltmer ondskefulla på X, Reddit och Y Combinator-forumet.
Även om teknikchefer ofta är polariserande vinner de vanligtvis anhängare, vilket Elon Musk visar bland de mer provokativa typerna. Andra, som till exempel Microsoft CEO Satya Nadella, vinna respekt för sin företagsstrategi och kontrollerade, mogna ledarstil.
Låt oss också erkänna hur andra AI-startups, som Anthropiclyckas hålla en ganska låg profil trots sina stora framgångar inom industrin för generativ AI. OpenAIå andra sidan upprätthåller en intensiv, kontroversiell tyngd som håller den i allmänhetens blickfång, vilket inte gynnar vare sig dess image eller bilden av generativ AI som helhet.
I slutändan bör vi säga som det är. OpenAIhar bidragit till känslan av att bolaget inte längre är en aktör med gott uppsåt inom AI.
IDet får allmänheten att undra om generativ AI kan undergräva samhället snarare än att hjälpa det. Det sänder ett budskap om att strävan efter AGI är en affär för stängda dörrar, ett spel som spelas av teknikeliten med liten hänsyn till de bredare konsekvenserna.
Den moraliska licensieringen av teknikindustrin
Moralisk licensiering har länge plågat teknikbranschen, där det aktuella företagsuppdragets föreslagna ädelhet används för att motivera etiska kompromisser.
Från Facebooks mantra "move fast and break things" till Googles slogan "don't be evil" - teknikjättarna har upprepade gånger åberopat framsteg och samhällsnytta samtidigt som de har ägnat sig åt tvivelaktiga metoder.
OpenAIs uppdrag att forska om och utveckla AGI "till gagn för hela mänskligheten" inbjuder till den kanske ultimata formen av moralisk licensiering.
Löftet om en teknik som kan lösa världens största utmaningar och inleda en era av aldrig tidigare skådat välstånd är förföriskt. Det vädjar till våra djupaste förhoppningar och drömmar och knyter an till vår önskan att lämna ett bestående, positivt avtryck i världen.
Men däri ligger faran. När insatserna är så höga och de potentiella belöningarna så stora blir det alltför lätt att rättfärdiga att man tar genvägar, kringgår etiska gränser och avfärdar kritik i namn av ett "högre syfte" som ingen enskild person eller liten grupp kan definiera, inte ens med all finansiering och forskning i världen.
Det här är fällan som OpenAI riskerar att hamna i. Genom att positionera sig som skaparen av en teknik som kommer att gynna hela mänskligheten har företaget i princip gett sig självt en blankocheck för att fullfölja sin vision med alla medel.
Så, vad kan vi göra åt det hela? Tja, prat är billigt. Robust styrning, kontinuerlig progressiv dialog och ihållande påtryckningar för att förbättra branschpraxis är avgörande.
När det gäller OpenAI och mediekritik av den offentliga debatten och OpenAI växa, Altmans position kan bli mindre hållbar.
Om han skulle lämna eller bli avsatt får vi hoppas att något positivt fyller det enorma tomrum han lämnar efter sig.
