OpenAI har samlet et team af eksperter ved navn "Preparedness", som skal afbøde de "katastrofale" risici, der er forbundet med AI.
Dette kommer ikke længe efter, at OpenAI omfattende rebrandede sig selv som en AGI-centreret virksomhed. Det nye team er dedikeret til at evaluere både nuværende og fremtidige AI-modeller for risici.
Risici specificeret af OpenAI individualiseret overtalelse (skræddersyede budskaber til præcis det, modtageren ønsker at høre), trusler mod cybersikkerheden, autonom replikation, tilpasning (AI, der ændrer sig selv uafhængigt) og endda eksistentielle trusler som kemiske, biologiske og nukleare angreb.
Eksperter er stort set uenige om, hvorvidt AI's eksistentielle risici er hype-drevne eller praktisk realistiske, selvom de fleste er enige om, at aktuelle problemer, såsom AI deep fakes, allerede er enormt forstyrrende.
OpenAI's udtalelse om sagen er klar: "Vi mener, at avancerede AI-modeller, som vil overgå kapaciteten i de mest avancerede eksisterende modeller, har potentiale til at gavne hele menneskeheden. Men de udgør også stadig større risici."
Kunstig generel intelligens - AGI - definerer AI-modeller, der svarer til og overgår menneskelig kognition på tværs af flere modaliteter.
OpenAI's CEO Sam Altman har givet udtryk for sin hensigt om at skabe sådanne modeller klartmen begrebet AGI er i virkeligheden stadig meget spekulativt.
Altman for nylig optaget på Joe Rogan-podcasten at AI ikke havde udviklet sig, som han havde forventet. AGI opstår måske ikke spontant som en "singularitet", men langsomt i løbet af det kommende årti eller deromkring.
OpenAI om beredskab
I en Seneste blogindlægOpenAI Safety & Alignment- og Community-teams fremhævede organisationens løbende engagement i at håndtere hele spektret af sikkerhedsrisici forbundet med AI.
Dette skridt kommer, efter at OpenAI sammen med andre fremtrædende AI-laboratorier, frivilligt forpligtet for at opretholde sikkerhed og tillid i AI-udvikling som en del af et samarbejde med Det Hvide Hus.
Beredskabsteamet ledes af OpenAI-forsker Aleksander Madry. Teamet vil være afgørende for at vurdere kapaciteter, gennemføre evalueringer og udføre intern red teaming for frontier-modeller, der spænder fra udvikling i nær fremtid til AGI-modeller.
Derudover vil teamet udvikle og vedligeholde en "risikoinformeret udviklingspolitik (RDP)", der skitserer en tilgang til evaluering og overvågning af grænsemodellers kapacitet, implementering af beskyttelsesforanstaltninger og etablering af styringsstrukturer for ansvarlighed og tilsyn.
OpenAI lancerer også "AI Preparedness Challenge" for at afdække områder med AI-misbrug.
Udfordringen vil belønne de bedste bidrag med $25.000 i API-kreditter, udgive nye ideer og bidrag og potentielt rekruttere kandidater til beredskabsteamet.
