OpenAI heeft een team van experts samengesteld onder de naam "Preparedness", met als doel de "catastrofale" risico's van AI te beperken.
Dit komt niet lang nadat OpenAI uitgebreid zichzelf omgedoopt tot een AGI-gericht bedrijf. Het nieuwe team houdt zich bezig met het evalueren van zowel huidige als toekomstige AI-modellen op risico's.
Risico's gespecificeerd door OpenAI geïndividualiseerde overtuigingskracht (berichten precies afstemmen op wat de ontvanger wil horen), bedreigingen voor cyberveiligheid, autonome replicatie, aanpassing (AI die zichzelf zelfstandig verandert) en zelfs existentiële bedreigingen zoals chemische, biologische en nucleaire aanvallen.
Experts zijn het er grotendeels over eens of de existentiële risico's van AI door een hype zijn ingegeven of praktisch realistisch zijn, hoewel de meesten het erover eens zijn dat de huidige problemen, zoals AI-fraude, al enorm ontwrichtend zijn.
OpenAI's verklaring hierover is duidelijk: "Wij geloven dat grensverleggende AI-modellen, die de capaciteiten van de meest geavanceerde bestaande modellen zullen overtreffen, het potentieel hebben om de hele mensheid ten goede te komen. Ze brengen echter ook steeds grotere risico's met zich mee."
Kunstmatige algemene intelligentie - AGI - definieert AI-modellen die de menselijke cognitie in meerdere modaliteiten evenaren en overtreffen.
OpenAI CEO Sam Altman heeft zijn voornemen om dergelijke modellen duidelijk te makenmaar het concept van AGI in reële termen blijft zeer speculatief.
Altman onlangs toegegeven op de podcast van Joe Rogan dat AI zich niet had ontwikkeld zoals hij had verwacht. AGI zal misschien niet spontaan ontstaan als een 'singulariteit', maar langzaam in de loop van het komende decennium of zo.
OpenAI op paraatheid
In een recente blogpostDe teams van OpenAI Safety & Alignment en Community benadrukten de voortdurende inzet van de organisatie om het volledige spectrum van veiligheidsrisico's in verband met AI aan te pakken.
Deze stap komt nadat OpenAI, samen met andere prominente AI-laboratoria, vrijwillig gepleegd voor het handhaven van veiligheid, beveiliging en vertrouwen in AI-ontwikkeling als onderdeel van een samenwerking met het Witte Huis.
Het Preparedness-team wordt geleid door OpenAI-onderzoeker Aleksander Madry. Het team zal cruciaal zijn in het beoordelen van capaciteiten, het uitvoeren van evaluaties en het uitvoeren van interne red teaming voor grensverleggende modellen, variërend van ontwikkelingen in de nabije toekomst tot AGI-modellen.
Daarnaast zal het team een "Risk-Informed Development Policy (RDP)" ontwikkelen en onderhouden, waarin een aanpak wordt beschreven voor het evalueren en bewaken van de capaciteiten van grensmodel, het implementeren van beschermende maatregelen en het opzetten van bestuursstructuren voor verantwoording en toezicht.
OpenAI lanceert ook de "AI Preparedness Challenge" om gebieden van AI-misbruik bloot te leggen.
De uitdaging beloont de beste inzendingen met $25.000 aan API-credits, publiceert nieuwe ideeën en inzendingen en werft mogelijk kandidaten voor het Preparedness-team.
