OpenAI har tillkännagivit planer på att öka forskningen inom "superintelligens" - en form av AI med förmågor som överstiger det mänskliga intellektet.
Medan AI superintelligens kan verka avlägset, tror OpenAI att utvecklingen kan ske inom några år.
OpenAI säger: "För närvarande har vi inte någon lösning för att styra eller kontrollera en potentiellt superintelligent AI och förhindra att den blir oseriös." Det är ett ganska illavarslande uttalande från världens ledande AI-företag.
För att minska riskerna med superintelligent AI planerar OpenAI att införa nya styrningsstrukturer och avsätta resurser för superintelligensanpassning, som syftar till att anpassa högintelligenta AI:er till mänskliga principer och värderingar. Deras tidsram för att åstadkomma detta är 4 år.
I ett blogginläggidentifierade OpenAI tre huvudmål - att utveckla skalbara träningsmetoder, validera den resulterande modellen och noggrant testa anpassningsprocessen. Detta inkluderar att automatisera processen för att upptäcka problematiskt beteende i stora modeller. För att uppnå detta föreslår OpenAI att man utvecklar en specialiserad "automated alignment researcher" - en AI som har till uppgift att anpassa AI.
OpenAI samlar också ett team av forskare och ingenjörer inom maskininlärning på högsta nivå (mänskliga) för att ta sig an denna herkuliska uppgift. För att hjälpa till avsätter företaget 20% av sina förvärvade beräkningsresurser under de kommande fyra åren för att ta itu med superintelligensinriktning.
Det nybildade "superalignment-teamet" kommer att axla uppgiften, under ledning av OpenAI:s medgrundare och chefsforskare Ilya Sutskever och Alignment-chefen Jan Leike.
OpenAI planerar dessutom att dela med sig av resultaten av detta arbete till andra. De påpekade också att deras befintliga arbete med att förbättra säkerheten för nuvarande modeller, som ChatGPT, och mildra andra AI-risker, såsom missbruk, ekonomisk störning och desinformation, kommer att fortsätta.
I blogginlägget efterfrågas också intresse för deras positioner för forskningsingenjör, Forskare, och forskningschef positioner. Den lägsta noterade lönen är $245.000 per år och varierar upp till $450.000.
OpenAI:s tekniker för AI-anpassning
I ett tidigare blogginlägg om superintelligens beskriver OpenAI två breda tekniker för anpassning:
1: Träna AI med mänsklig feedback: Denna metod handlar om att förfina AI med hjälp av mänskliga svar och instruktioner. Till exempel tränas en AI att ge svar som överensstämmer med både direkta kommandon och mer subtila avsikter. AI:n lär sig av uttryckliga instruktioner och mer implicita signaler, som att säkerställa sanningsenliga och säkra svar. En människocentrerad metod kan dock ha svårt att hantera komplexa funktioner och är dessutom arbets- och tidskrävande.
2: Träningsmodeller för att underlätta mänsklig utvärdering: Den andra metoden utgår från att när AI blir mer sofistikerat finns det uppgifter som den kan utföra som är svåra för människor att utvärdera. I det här synsättet används AI för att utföra uppgifter och för att utvärdera kvaliteten på dessa uppgifter. En AI kan t.ex. användas för att kontrollera att information är korrekt, sammanfatta långa dokument för att underlätta mänsklig utvärdering eller till och med kritisera sitt eget arbete.
Det slutgiltiga målet är att utveckla AI-system som effektivt kan hjälpa människor att utvärdera komplexa uppgifter i takt med att AI-intelligensen överskrider den mänskliga kognitionens gränser.
OpenAI säger att de tror att superintelligensinriktning är "spårbar". Även om utsikterna för superintelligent AI verkar ljusår bort, skulle det vara oklokt att anta att OpenAI bara är optimistiskt.
