OpenAI heeft plannen aangekondigd om meer onderzoek te doen naar "superintelligentie" - een vorm van AI met capaciteiten die het menselijk intellect te boven gaan.
Terwijl AI superintelligentie lijkt misschien een ver vooruitzicht, maar OpenAI gelooft dat de ontwikkeling ervan binnen een paar jaar kan plaatsvinden.
OpenAI zegt: "Op dit moment hebben we geen oplossing om een potentieel superintelligente AI aan te sturen of te controleren en te voorkomen dat deze de fout ingaat." Dat is nogal een onheilspellende uitspraak van 's werelds grootste AI-bedrijf.
Om de risico's van superintelligente AI te beperken, is OpenAI van plan om nieuwe bestuursstructuren te introduceren en middelen te wijden aan superintelligentie alignment, dat hoogintelligente AI's probeert af te stemmen op menselijke principes en waarden. Hun tijdsbestek om dit te bereiken is 4 jaar.
In een blogberichtOpenAI identificeerde 3 hoofddoelen - het ontwikkelen van schaalbare trainingsmethoden, het valideren van het resulterende model en het grondig testen van het uitlijningsproces. Dit omvat het automatiseren van het ontdekken van problematisch gedrag in grote modellen. Om dit te bereiken stelt OpenAI voor om een gespecialiseerde "geautomatiseerde uitlijningsonderzoeker" te ontwikkelen - een AI die de taak heeft om AI uit te lijnen.
OpenAI verzamelt ook een team van eersteklas (menselijke) machine learning onderzoekers en ingenieurs om deze Hercules-taak op zich te nemen. Om te helpen, zet het bedrijf de komende 4 jaar 20% van zijn verworven computermiddelen in om superintelligentie op één lijn te krijgen.
Het nieuw gevormde 'superalignment team' zal deze taak op zich nemen, onder leiding van OpenAI mede-oprichter en Chief Scientist Ilya Sutskever en Head of Alignment Jan Leike.
Daarnaast is OpenAI van plan om de resultaten van dit werk met anderen te delen. Ze wezen er ook op dat hun bestaande werk aan het verbeteren van de veiligheid van huidige modellen, zoals ChatGPT, en het beperken van andere AI-risico's, zoals misbruik, economische verstoring en desinformatie, zal worden voortgezet.
Het blogbericht vraagt ook om interesse in hun posities voor onderzoeksingenieur, onderzoekswetenschapperen onderzoeksmanager functies. Het laagst genoteerde salaris is $245.000 per jaar, oplopend tot $450.000.
OpenAI's technieken voor AI-afstemming
In een eerdere blogpost over superintelligentie beschrijft OpenAI 2 brede afstemmingstechnieken:
1: AI trainen met menselijke feedback: Deze benadering gaat over het verfijnen van AI met behulp van menselijke reacties en instructies. Een AI wordt bijvoorbeeld getraind om reacties te geven die overeenkomen met zowel directe opdrachten als subtielere bedoelingen. De AI leert van expliciete instructies en meer impliciete signalen, zoals het garanderen van waarheidsgetrouwe en veilige antwoorden. Een mensgerichte aanpak kan echter worstelen met complexe mogelijkheden en is arbeidsintensief en tijdrovend.
2: Trainingsmodellen om menselijke evaluatie te ondersteunen: De tweede benadering erkent dat naarmate AI geavanceerder wordt, er taken zijn die het kan uitvoeren die voor mensen moeilijk te evalueren zijn. In deze benadering wordt AI dus gebruikt om taken uit te voeren en de kwaliteit van die taken te evalueren. Een AI kan bijvoorbeeld worden gebruikt om de nauwkeurigheid van informatie te controleren, lange documenten samen te vatten zodat menselijke evaluatie eenvoudiger wordt, of zelfs om zijn eigen werk te bekritiseren.
Het uiteindelijke doel is om AI-systemen te ontwikkelen die mensen effectief kunnen helpen bij het evalueren van complexe taken naarmate AI-intelligentie de grenzen van de menselijke cognitie overschrijdt.
OpenAI zegt te geloven dat superintelligente afstemming "haalbaar" is. Hoewel het vooruitzicht van superintelligente AI lichtjaren ver weg lijkt, zou het onverstandig zijn om aan te nemen dat OpenAI gewoon optimistisch is.
