En grupp tidigare och nuvarande OpenAI- och Google-anställda kritiserar AI-företag för vad de menar är en farlig kultur av hemlighetsmakeri kring AI-risker.
I brevet med titeln "A right to warn about advanced artificial intelligence" konstateras att AI-företag har starka ekonomiska incitament att undvika effektiv övervakning av potentiella AI-risker.
Förutom att det är vårdslöst att fokusera på finansiella mål istället för säkerhet, säger brevet att företag använder straffande sekretessavtal för att aktivt avskräcka anställda från att ta upp problem.
Undertecknarna är alla tidigare OpenAI- och Google-anställda, med Neel Nanda, den enda som fortfarande arbetar på Google. Brevet stöddes också av de ledande AI-tankarna Yoshua Bengio, Geoffrey Hinton och Stuart Russell.
Som ett bevis på oron för att hänga ut sina tidigare arbetsgivare ville 6 av undertecknarna inte uppge sina namn i brevet.
De tidigare OpenAI-forskarna Daniel Kokotajlo och William Saunders, som också undertecknade brevet, lämnade företaget tidigare i år.
Kokotajlo var med i styrgruppen och Saunders arbetade i OpenAI:s Superalignment-grupp som upplöstes förra månaden när Ilya Sutskever och Jan Leike lämnade också på grund av säkerhetsrisker.
Kokotajlo förklarade sitt avhopp på ett forum genom att säga att han inte tror att OpenAI kommer att "uppträda ansvarsfullt när AGI kommer".
En uppmaning till handling
I brevet efterlyses ett större engagemang från AI-företag i avsaknad av reglering av AI-risker som allmänheten inte känner till.
I brevet står det: "Det vanliga skyddet för visselblåsare är otillräckligt eftersom det fokuserar på olaglig verksamhet, medan många av de risker som vi oroar oss för ännu inte är reglerade."
I brevet uppmanas AI-företagen att förbinda sig att följa fyra principer. I korthet vill de att företagen ska:
- Inte ingå eller verkställa avtal som förbjuder kritik av företaget på grund av säkerhetsproblem eller håller tillbaka ekonomiska förmåner som den anställde har rätt till. (ahem, OpenAI)
- Underlätta en anonym process för anställda att ta upp riskrelaterade frågor med företagets styrelse eller andra tillsynsorganisationer.
- Att stödja en kultur av öppen kritik som gör det möjligt för medarbetare att offentliggöra riskrelaterade problem utan att avslöja immateriella rättigheter.
- Att inte vidta repressalier mot nuvarande och tidigare anställda som offentligt delar med sig av riskrelaterad konfidentiell information efter att andra processer har misslyckats.
Flera av namnen på listan över undertecknare betraktar sig själva som effektiva altruister. Av deras inlägg och kommentarer framgår det tydligt att personer som Daniel Kokotajlo (Less Wrong) och William Saunders (AI Alignment Forum) tror att saker och ting kan sluta mycket illa om AI-riskerna inte hanteras.
Men det här är inte domedagstroll på ett forum som ropar ut från sidlinjen. Det här är ledande intellekt som företag som OpenAI och Google ansåg vara lämpliga att anställa för att skapa den teknik som de nu fruktar.
Och nu säger de: "Vi har sett saker som skrämmer oss. Vi vill varna människor, men det får vi inte.
Du kan läsa brev här.
