OpenAI har samlat ett expertteam med namnet "Preparedness", som syftar till att mildra de "katastrofala" risker som är förknippade med AI.
Detta kommer inte långt efter att OpenAI omfattande omprofilerat sig som ett AGI-centrerat företag. Det nya teamet är dedikerat till att utvärdera både nuvarande och framtida AI-modeller för risker.
Risker specificerade av OpenAI individualiserad övertalning (skräddarsy meddelanden till exakt vad mottagaren vill höra), hot mot cybersäkerheten, autonom replikering, anpassning (AI som ändrar sig själv på egen hand) och till och med existentiella hot som kemiska, biologiska och nukleära attacker.
Experterna är till stor del oeniga om huruvida AI:s existentiella risker är hype-drivna eller praktiskt realistiska, även om de flesta är överens om att aktuella problem, som AI deep fakes, redan är oerhört störande.
OpenAI:s uttalande i frågan är tydligt: "Vi tror att AI-modeller i framkant, som kommer att överträffa kapaciteten hos de mest avancerade befintliga modellerna, har potential att gynna hela mänskligheten. Men de innebär också allt allvarligare risker."
Artificiell allmän intelligens - AGI - definierar AI-modeller som motsvarar och överträffar mänsklig kognition i flera olika modaliteter.
OpenAI:s VD Sam Altman har meddelat sin avsikt att skapa sådana modeller tydligtmen begreppet AGI i verkliga termer är fortfarande mycket spekulativt.
Altman nyligen medverkade i Joe Rogan-podcasten att AI inte hade utvecklats som han hade förväntat sig. AGI kanske inte uppstår spontant som en "singularitet" utan långsamt under det kommande decenniet eller så.
OpenAI om beredskap
I en senaste blogginläggetOpenAI Safety & Alignment och Community-teamen lyfte fram organisationens pågående åtagande att ta itu med hela spektrumet av säkerhetsrisker som är förknippade med AI.
Detta steg kommer efter att OpenAI, tillsammans med andra framstående AI-laboratorier, frivilligt åtagit sig för att upprätthålla säkerhet, trygghet och förtroende inom AI-utveckling som en del av ett samarbete med Vita huset.
Preparedness-teamet leds av OpenAI-forskaren Aleksander Madry. Teamet kommer att vara avgörande för att bedöma kapacitet, genomföra utvärderingar och utföra intern red teaming för gränsmodeller, allt från nära framtidsutveckling till AGI-modeller.
Dessutom kommer teamet att utveckla och upprätthålla en "Risk-Informed Development Policy (RDP)", som beskriver ett tillvägagångssätt för att utvärdera och övervaka gränsmodellens kapacitet, genomföra skyddsåtgärder och etablera styrningsstrukturer för ansvarighet och tillsyn.
OpenAI lanserar också "AI Preparedness Challenge" för att avslöja områden där AI används felaktigt.
Utmaningen kommer att belöna de bästa bidragen med $25 000 i API-krediter, publicera nya idéer och bidrag och potentiellt rekrytera kandidater till Preparedness-teamet.
