Twee voormalige OpenAI onderzoekers hebben een brief geschreven als reactie op OpenAI's verzet tegen de controversiële SB 1047 AI veiligheidswet in Californië.
De wetsvoorstel heeft zich een weg gebaand door de wetgevende stappen van de staat en als het aan het einde van de maand door de volledige Senaat komt, zal het naar gouverneur Gavin Newsom gaan voor zijn handtekening.
Het wetsvoorstel vraagt om extra veiligheidscontroles voor AI-modellen die meer dan $100m kosten om te trainen, evenals een 'kill switch' voor het geval het model zich misdraagt. Voormalige OpenAI werknemers en klokkenluiders William Saunders en Daniel Kokotajlo zeggen "teleurgesteld maar niet verrast" te zijn door het verzet van OpenAI tegen het wetsvoorstel.
OpenAI's brief aan de opsteller van het wetsvoorstel, senator Scott Wiener, legde uit dat hij de intentie achter het wetsvoorstel ondersteunt, maar dat federale wetten die de ontwikkeling van AI reguleren een betere optie zijn.
OpenAI zegt dat de gevolgen voor de nationale veiligheid, zoals mogelijke chemische, biologische, radiologische en nucleaire schade, "het best beheerd kunnen worden door de federale overheid en agentschappen".
In de brief staat dat als "staten proberen te concurreren met de federale overheid voor schaars talent en schaarse middelen, dit de toch al beperkte expertise tussen agentschappen zal doen verwateren, wat zal leiden tot een minder effectief en meer gefragmenteerd beleid voor de bescherming tegen nationale veiligheidsrisico's en kritieke schade".
In de brief wordt ook de bezorgdheid van afgevaardigde Zoe Lofgren aangehaald dat als het wetsvoorstel wordt ondertekend, er "een reëel risico bestaat dat bedrijven zullen besluiten zich in andere rechtsgebieden te vestigen of simpelweg geen modellen uit te brengen in Californië".
Antwoord van OpenAI klokkenluider
De voormalige werknemers van OpenAI geloven de redenering van OpenAI niet. Ze leggen uit: "We zijn lid geworden van OpenAI omdat we de veiligheid wilden garanderen van de ongelooflijk krachtige AI-systemen die het bedrijf ontwikkelt. Maar we hebben ons teruggetrokken uit OpenAI omdat we het vertrouwen verloren dat het bedrijf zijn AI-systemen veilig, eerlijk en verantwoord zou ontwikkelen."
De auteurs van de brief zaten ook achter de "Brief "Recht om te waarschuweneerder dit jaar uitgebracht.
In de brief, die hun steun voor SB 1047 uitlegt, staat: "Het ontwikkelen van grensverleggende AI-modellen zonder adequate veiligheidsmaatregelen brengt voorspelbare risico's met zich mee op catastrofale schade voor het publiek".
OpenAI heeft een uittocht van AI-veiligheidsonderzoekers gezien, maar de modellen van het bedrijf hebben geen van de doemscenario's opgeleverd waar velen zich zorgen over maakten. De klokkenluiders zeggen: "Dat komt alleen omdat er nog geen echt gevaarlijke systemen zijn gebouwd, niet omdat bedrijven veiligheidsprocessen hebben die echt gevaarlijke systemen aankunnen."
Ze geloven OpenAI CEO Sam Altman ook niet als hij zegt dat hij zich inzet voor AI-veiligheid. "Sam Altman, onze voormalige baas, heeft herhaaldelijk opgeroepen tot AI-regulering. Nu, wanneer daadwerkelijke regulering op tafel ligt, is hij er tegen", leggen ze uit.
OpenAI is niet het enige bedrijf dat tegen het wetsvoorstel is. Anthropic had ook bezwaren, maar lijkt het nu te steunen nadat er wijzigingen zijn aangebracht.
Anthropic CEO Dario Amodei zei in zijn brief aan de Californische gouverneur Gavin Newsom op 21 augustus: "Naar onze mening is de nieuwe SB 1047 substantieel verbeterd, tot het punt waarop we geloven dat de voordelen waarschijnlijk opwegen tegen de kosten.
"We zijn hier echter niet zeker van, en er zijn nog steeds enkele aspecten van het wetsvoorstel die ons verontrustend of dubbelzinnig lijken... Onze aanvankelijke zorgen over het wetsvoorstel die innovatie zouden kunnen belemmeren vanwege de snel evoluerende aard van het veld, zijn in de gewijzigde versie sterk verminderd."
Als SB 1047 in de wet wordt opgenomen, zou dat bedrijven als OpenAI kunnen dwingen om veel meer middelen te besteden aan AI-veiligheid, maar het zou ook kunnen leiden tot een migratie van techbedrijven uit Silicon Valley.
