En gruppe tidligere og nåværende OpenAI- og Google-ansatte kritiserer AI-selskaper for det de mener er en farlig hemmeligholdskultur rundt AI-risikoer.
I brevet med tittelen "A right to warn about advanced artificial intelligence" står det at AI-selskaper har sterke økonomiske insentiver til å unngå effektiv overvåking av potensielle AI-risikoer.
I tillegg til å være hensynsløse ved å fokusere på økonomiske mål i stedet for sikkerhet, står det i brevet at selskaper bruker straffende konfidensialitetsavtaler for aktivt å motvirke at ansatte tar opp bekymringer.
Underskriverne er alle tidligere OpenAI- og Google-ansatte, med Neel Nanda som den eneste som fortsatt jobber i Google. Brevet ble også støttet av de ledende AI-ekspertene Yoshua Bengio, Geoffrey Hinton og Stuart Russell.
Som et bevis på bekymringen for å henge ut sine tidligere arbeidsgivere, var seks av underskriverne ikke villige til å oppgi navnet sitt i brevet.
De tidligere OpenAI-forskerne Daniel Kokotajlo og William Saunders, som også signerte brevet, forlot selskapet tidligere i år.
Kokotajlo var med i styringsteamet, og Saunders jobbet i OpenAIs Superalignment-team, som ble oppløst i forrige måned da Ilya Sutskever og Jan Leike har også forlatt oss på grunn av sikkerhetshensyn.
Kokotajlo forklarte sin avgang på et forum ved å si at han ikke tror OpenAI vil "oppføre seg ansvarlig rundt AGI-tiden".
En oppfordring til handling
I brevet etterlyses et større engasjement fra AI-selskaper i mangel av regulering som regulerer AI-risikoer som offentligheten ikke kjenner til.
I brevet står det: "Den vanlige varslingsbeskyttelsen er utilstrekkelig fordi den fokuserer på ulovlig aktivitet, mens mange av de risikoene vi er bekymret for, ennå ikke er regulert."
I brevet oppfordres AI-selskaper til å forplikte seg til fire prinsipper. Kort sagt ønsker de at selskapene skal:
- Ikke inngå eller håndheve avtaler som forbyr kritikk av selskapet på grunn av sikkerhetshensyn, eller holde tilbake økonomiske fordeler som den ansatte har krav på. (ahem, OpenAI)
- Tilrettelegge for en anonym prosess der ansatte kan ta opp risikorelaterte bekymringer med selskapets styre eller andre tilsynsorganer.
- Å støtte en kultur for åpen kritikk som gjør det mulig for ansatte å offentliggjøre risikorelaterte bekymringer uten å avsløre immaterielle rettigheter.
- Å ikke utøve represalier mot nåværende og tidligere ansatte som offentlig deler risikorelatert konfidensiell informasjon etter at andre prosesser har mislyktes.
Flere av navnene på listen over underskrivere anser seg selv som effektive altruister. Av innleggene og kommentarene deres fremgår det tydelig at folk som Daniel Kokotajlo (Less Wrong) og William Saunders (AI Alignment Forum) mener at ting kan ende svært galt hvis AI-risikoen ikke håndteres.
Men dette er ikke dommedagstroll på et forum som roper ut fra sidelinjen. Dette er ledende intellektuelle som selskaper som OpenAI og Google så seg tjent med å ansette for å skape teknologien de nå frykter.
Og nå sier de: "Vi har sett ting som skremmer oss. Vi ønsker å advare folk, men vi har ikke lov til det.
Du kan lese brev her.
