OpenAI har annonceret planer om at øge forskningen i "superintelligens" - en form for AI med evner, der overgår det menneskelige intellekt.
Mens AI-superintelligens kan virke fjernt, mener OpenAI, at udviklingen kan ske inden for få år.
OpenAI siger: "I øjeblikket har vi ikke en løsning til at styre eller kontrollere en potentielt superintelligent AI og forhindre den i at gå amok." Det er en ganske ildevarslende udtalelse fra verdens førende AI-virksomhed.
For at mindske risikoen ved superintelligent AI planlægger OpenAI at indføre nye styringsstrukturer og afsætte ressourcer til superintelligenstilpasning, som søger at tilpasse højt intelligente AI'er til menneskelige principper og værdier. Deres tidsramme for at opnå dette er 4 år.
I et blogindlægOpenAI identificerede 3 hovedmål - udvikling af skalerbare træningsmetoder, validering af den resulterende model og grundig test af tilpasningsprocessen. Dette omfatter automatisering af processen med at opdage problematisk adfærd i store modeller. For at opnå dette foreslår OpenAI at udvikle en specialiseret "automatiseret alignment-forsker" - en AI, der har til opgave at aligne AI.
OpenAI samler også et team af førsteklasses (menneskelige) maskinlæringsforskere og ingeniører til at påtage sig denne herkuliske opgave. For at hjælpe til afsætter virksomheden 20% af sine erhvervede computerressourcer over de næste 4 år til at tackle superintelligenstilpasning.
Det nyoprettede "superalignment-team" vil påtage sig opgaven med OpenAI's medstifter og Chief Scientist Ilya Sutskever og Head of Alignment Jan Leike i spidsen.
Derudover planlægger OpenAI at dele resultaterne af dette arbejde med andre. De påpegede også, at deres eksisterende arbejde med at forbedre sikkerheden i nuværende modeller, som ChatGPT, og afbøde andre AI-risici, såsom misbrug, økonomisk forstyrrelse og desinformation, vil fortsætte.
Blogindlægget beder også om interesse for deres stillinger til forskningsingeniør, forskerog forskningschef stillinger. Den laveste tilbudte løn er $245.000 årligt og går op til $450.000.
OpenAI's teknikker til AI-tilpasning
I et tidligere blogindlæg om superintelligens beskriver OpenAI 2 brede tilpasningsteknikker:
1: Træning af AI med menneskelig feedback: Denne tilgang handler om at forfine AI ved hjælp af menneskelige reaktioner og instruktioner. For eksempel trænes en AI til at give svar, der stemmer overens med både direkte kommandoer og mere subtile hensigter. AI'en lærer af eksplicitte instruktioner og mere implicitte signaler, som f.eks. at sikre sandfærdige og sikre svar. Men en menneskecentreret tilgang kan have svært ved at håndtere komplekse funktioner og er besværlig og tidskrævende.
2: Træningsmodeller til hjælp for menneskelig evaluering: Den anden tilgang anerkender, at når AI bliver mere sofistikeret, er der opgaver, den kan udføre, som er svære for mennesker at evaluere. Så i denne tilgang bruges AI til at udføre opgaver og til at evaluere kvaliteten af disse opgaver. En AI kan f.eks. bruges til at hjælpe med at kontrollere nøjagtigheden af information, sammenfatte lange dokumenter, så de lettere kan vurderes af mennesker, eller endda kritisere sit eget arbejde.
Det endelige mål er at udvikle AI-systemer, der effektivt kan hjælpe mennesker med at evaluere komplekse opgaver, efterhånden som AI-intelligens overskrider grænserne for menneskelig erkendelse.
OpenAI siger, at de mener, at superintelligenstilpasning er "mulig". Selv om udsigten til superintelligent AI virker lysår væk, ville det være uklogt at antage, at OpenAI bare er optimistisk.
