OpenAI har satt sammen et team av eksperter med navnet "Preparedness", som har som mål å redusere de "katastrofale" risikoene forbundet med AI.
Dette kommer ikke lenge etter at OpenAI i en omfattende omprofilerte seg som et AGI-sentrert selskap. Det nye teamet skal evaluere både nåværende og fremtidige AI-modeller med tanke på risiko.
Risikoer spesifisert av OpenAI individualisert overtalelse (skreddersøm av budskap til akkurat det mottakeren ønsker å høre), trusler mot cybersikkerheten, autonom replikasjon, tilpasning (AI som endrer seg selv på egen hånd) og til og med eksistensielle trusler som kjemiske, biologiske og kjernefysiske angrep.
Ekspertene er i stor grad uenige om hvorvidt AIs eksistensielle risikoer er drevet av hype eller er praktisk realistiske, selv om de fleste er enige om at dagens problemer, som for eksempel AI deep fakes, allerede er svært forstyrrende.
OpenAIs uttalelse om saken er klar: "Vi mener at de fremste AI-modellene, som vil overgå kapasiteten til de mest avanserte eksisterende modellene, har potensial til å være til nytte for hele menneskeheten. Men de utgjør også en stadig større risiko."
Kunstig generell intelligens - AGI - definerer AI-modeller som tilsvarer og overgår menneskelig kognisjon på tvers av flere modaliteter.
OpenAIs administrerende direktør Sam Altman har gjort sin intensjon om å skape slike modeller tydeligmen begrepet AGI i reelle termer er fortsatt høyst spekulativt.
Altman har nylig innrømmet på Joe Rogan-podcasten at AI ikke hadde utviklet seg som han hadde forventet. AGI vil kanskje ikke oppstå spontant som en "singularitet", men sakte i løpet av det kommende tiåret eller så.
OpenAI om beredskap
I en nylig blogginnlegg, OpenAI Safety & Alignment og Community-teamene fremhevet organisasjonens pågående engasjement for å håndtere hele spekteret av sikkerhetsrisikoer knyttet til AI.
Dette trekket kommer etter at OpenAI, sammen med andre fremtredende AI-laboratorier, frivillig forpliktet for å opprettholde trygghet, sikkerhet og tillit i utviklingen av kunstig intelligens som en del av et samarbeid med Det hvite hus.
Beredskapsteamet ledes av OpenAI-forsker Aleksander Madry. Teamet vil være avgjørende for å vurdere kapasiteter, gjennomføre evalueringer og utføre intern red teaming for frontier-modeller, alt fra nær fremtidsutvikling til AGI-modeller.
I tillegg skal teamet utvikle og vedlikeholde en "policy for risikoinformert utvikling" (RDP), som beskriver en tilnærming til evaluering og overvåking av grensemodellenes kapasitet, implementering av beskyttelsestiltak og etablering av styringsstrukturer for ansvarlighet og tilsyn.
OpenAI lanserer også "AI Preparedness Challenge" for å avdekke områder der AI misbrukes.
Utfordringen vil belønne de beste bidragene med $25 000 i API-kreditter, publisere nye ideer og bidrag, og potensielt rekruttere kandidater til beredskapsteamet.
