En gruppe tidligere og nuværende OpenAI- og Google-medarbejdere kritiserer AI-virksomhederne for, hvad de mener, er en farlig hemmeligholdelseskultur omkring AI-risici.
I brevet med titlen "En ret til at advare om avanceret kunstig intelligens" står der, at AI-virksomheder har stærke økonomiske incitamenter til at undgå effektivt tilsyn med potentielle AI-risici.
Ud over at være hensynsløse ved at fokusere på økonomiske mål i stedet for sikkerhed, siger brevet, at virksomheder bruger straffende fortrolighedsaftaler til aktivt at afskrække medarbejdere fra at give udtryk for bekymringer.
Underskriverne er alle tidligere OpenAI- og Google-medarbejdere, med Neel Nanda som den eneste, der stadig arbejder hos Google. Brevet blev også støttet af de førende AI-forskere Yoshua Bengio, Geoffrey Hinton og Stuart Russell.
Som bevis på bekymringen for at hænge deres tidligere arbejdsgivere ud, var 6 af underskriverne ikke villige til at oplyse deres navne i brevet.
De tidligere OpenAI-forskere Daniel Kokotajlo og William Saunders, som også underskrev brevet, forlod virksomheden tidligere i år.
Kokotajlo var med i governance-teamet, og Saunders arbejdede i OpenAI's Superalignment-team, som blev opløst i sidste måned, da Ilya Sutskever og Jan Leike forlod også stedet på grund af sikkerhedsproblemer.
Kokotajlo forklarede årsagen til sin afgang på et forum, hvor han sagde, at han ikke tror, at OpenAI vil "opføre sig ansvarligt omkring AGI-tidspunktet".
En opfordring til handling
Brevet opfordrer til et større engagement fra AI-virksomheder i mangel af regulering af AI-risici, som offentligheden ikke kender til.
I brevet står der: "Almindelig whistleblower-beskyttelse er utilstrækkelig, fordi den fokuserer på ulovlig aktivitet, mens mange af de risici, vi er bekymrede for, endnu ikke er reguleret."
Brevet opfordrer AI-virksomheder til at forpligte sig til fire principper. Kort sagt ønsker de, at virksomhederne:
- Ikke indgå eller håndhæve aftaler, der forbyder kritik af virksomheden på grund af sikkerhedsproblemer eller tilbageholder økonomiske fordele, som medarbejderen har krav på. (ahem, OpenAI)
- Facilitér en anonym proces, hvor medarbejderne kan rejse risikorelaterede bekymringer over for virksomhedens bestyrelse eller andre regulerende organisationer.
- At understøtte en kultur med åben kritik, der giver medarbejderne mulighed for at offentliggøre risikorelaterede bekymringer uden at afsløre intellektuel ejendom.
- Ikke at udøve repressalier mod nuværende og tidligere medarbejdere, der offentligt deler risikorelaterede fortrolige oplysninger, efter at andre processer har slået fejl.
Flere af navnene på listen over underskrivere betragter sig selv som effektive altruister. Af deres indlæg og kommentarer fremgår det tydeligt, at folk som Daniel Kokotajlo (Less Wrong) og William Saunders (AI Alignment Forum) mener, at tingene kan ende meget galt, hvis AI-risici ikke håndteres.
Men det er ikke dommedagstrolde på et forum, der råber op fra sidelinjen. Det er førende intellekter, som virksomheder som OpenAI og Google fandt det passende at ansætte for at skabe den teknologi, de nu frygter.
Og nu siger de: "Vi har set ting, der skræmmer os. Vi vil gerne advare folk, men det må vi ikke.
Du kan læse brev her.
