Två tidigare OpenAI-forskare skrev ett brev som svar på OpenAI:s motstånd mot Kaliforniens kontroversiella lagförslag SB 1047 om AI-säkerhet.
Den föreslagen lag har tagit sig igenom delstatens lagstiftande steg, och om den passerar hela senaten i slutet av månaden kommer den att gå vidare till guvernör Gavin Newsom för hans underskrift.
Lagförslaget kräver extra säkerhetskontroller för AI-modeller som kostar mer än $100 miljoner att utbilda, samt en "kill switch" om modellen missköter sig. Tidigare OpenAI-anställda och visselblåsare, William Saunders och Daniel Kokotajlo, säger att de är "besvikna men inte förvånade" över OpenAI: s motstånd mot lagförslaget.
OpenAI's brev till lagförslagets författare, senator Scott Wiener, förklarade att man visserligen stöder avsikten bakom lagförslaget, men att federala lagar som reglerar AI-utvecklingen är ett bättre alternativ.
OpenAI säger att de nationella säkerhetsimplikationerna, såsom potentiella kemiska, biologiska, radiologiska och nukleära skador, "bäst hanteras av den federala regeringen och byråerna".
I brevet står det att om "delstaterna försöker konkurrera med den federala regeringen om knappa talanger och resurser kommer det att späda ut den redan begränsade expertisen mellan olika myndigheter, vilket leder till en mindre effektiv och mer fragmenterad politik för att skydda sig mot nationella säkerhetsrisker och kritiska skador".
Brevet citerade också representant Zoe Lofgrens oro för att om lagförslaget undertecknades finns det "en verklig risk för att företag kommer att besluta att införliva i andra jurisdiktioner eller helt enkelt inte släppa modeller i Kalifornien".
OpenAI:s svar till visselblåsare
De tidigare OpenAI-anställda köper inte OpenAI: s resonemang. De förklarade: "Vi gick med i OpenAI för att vi ville garantera säkerheten för de otroligt kraftfulla AI-system som företaget utvecklar. Men vi sade upp oss från OpenAI eftersom vi tappade förtroendet för att företaget skulle utveckla sina AI-system på ett säkert, ärligt och ansvarsfullt sätt."
Författarna till brevet var också bakom Brev om "rätten att varna"som släpptes tidigare i år.
I brevet förklaras deras stöd för SB 1047: "Att utveckla avancerade AI-modeller utan tillräckliga säkerhetsåtgärder innebär förutsebara risker för katastrofal skada för allmänheten."
OpenAI har sett en utvandring av forskare inom AI-säkerhet, men företagets modeller har inte levererat några av de domedagsscenarier som många har oroat sig för. Visselblåsarna säger "Det beror bara på att verkligt farliga system ännu inte har byggts, inte för att företag har säkerhetsprocesser som kan hantera verkligt farliga system."
De tror inte heller på OpenAI:s vd Sam Altman när han säger att han är engagerad i AI-säkerhet. "Sam Altman, vår tidigare chef, har upprepade gånger krävt AI-reglering. Nu, när faktisk reglering är på bordet, motsätter han sig det", förklarade de.
OpenAI är inte det enda företaget som motsätter sig lagförslaget. Anthropic hade också farhågor, men verkar nu stödja det efter att ändringar gjorts.
Anthropics VD Dario Amodei sade i sitt brev till Kaliforniens guvernör Gavin Newsom den 21 augusti: "Enligt vår bedömning är den nya SB 1047 väsentligt förbättrad, till den punkt där vi anser att dess fördelar sannolikt uppväger dess kostnader.
"Vi är dock inte säkra på detta, och det finns fortfarande vissa aspekter av lagförslaget som verkar oroande eller tvetydiga för oss ... Vår ursprungliga oro för att lagförslaget potentiellt skulle hindra innovation på grund av den snabba utvecklingen inom området har minskat avsevärt i den ändrade versionen."
Om SB 1047 blir lag kan det tvinga företag som OpenAI att fokusera mycket mer resurser på AI-säkerhet, men det kan också leda till att teknikföretag flyttar från Silicon Valley.
