Ga direct naar de inhoud
zondag 22 november 2026Gratis gids
NL
dailyai
Onderzoek

OpenAI wil dat de grenzen van AI-ontwikkeling worden gemeten in “perplexiteit” en publiceert zijn eigen cijfers.

· Leestijd: 2 minuten
DeelXin

OpenAI stelde zondag voor dat de AI-industrie haar vooruitgang zou meten en begrenzen met één enkel getal: perplexiteit, oftewel hoe goed een model gemiddeld het volgende token voorspelt, waarbij een lagere waarde beter is. Het bedrijf publiceerde ook de interne cijfers die het gebruikt om zijn eigen pretraining te volgen.

Het voorstel werd gedaan in “Perplexity and Intelligence”, een essay van Jakub Pachocki, hoofdwetenschapper van OpenAI. Hij betoogt dat ontwikkelaars het eens moeten worden over “gemeenschappelijke grenzen” die geen enkel lab mag overschrijden totdat concrete veiligheidsdoelstellingen zijn bereikt – zoals een opvolger van de keten-van-gedachten-monitors, die de redenering van een model in de gaten houden op tekenen van problemen.

Om dergelijke vergelijkingen mogelijk te maken, publiceerde Pachocki de interne log-perplexiteitsscores van OpenAI voor hun belangrijkste evaluatiedataset. GPT-3.5 scoorde ongeveer 0,99 en GPT-4 ongeveer 0,91, schrijft hij; onder de 0,8 zag het bedrijf “transformatieve mogelijkheden in vakgebieden zoals cyberbeveiliging en wiskunde”, en rond 0,76 begon een model “baanbrekende resultaten te produceren” in de wiskunde – een vakgebied dat nog steeds aan het verwerken is. AI-ondersteunde bewijsclaim. Hij waarschuwt echter dat “het a priori helemaal niet duidelijk was dat deze mogelijkheden zich zouden voordoen zodra aan die specifieke perplexiteitsdrempels werd voldaan”. Deze beweringen zijn afkomstig van OpenAI en zijn niet onafhankelijk geverifieerd.

Hij voorspelt meer transformatieve mogelijkheden in de orde van 0,68-0,7 – en geeft toe: “Ik weet niet wat die mogelijkheden precies zullen zijn” – en zegt dat een “lawine aan fundamentele verbeteringen in de voorbereiding op trainingen” al “in 2027” zou kunnen komen. Zwakke punten die hij noemt: laboratoria trainen met verschillende data die niet gemakkelijk te vergelijken zijn; perplexiteit is niet te koppelen aan taken die voor mensen relevant zijn; beter redeneren verlaagt de perplexiteit niet; de ondergrens is onbekend.

Het publiceren van de cijfers “vereiste enige overweging”, schrijft hij, omdat het concurrenten een duidelijker beeld geeft van de positie van OpenAI - een zorg die volgens hem niet opweegt tegen “de urgentie om gezamenlijke veiligheidsmaatregelen in de hele sector vast te stellen”.

Waarom dit belangrijk is: Het lijkt de eerste keer te zijn dat een grensverleggend laboratorium interne pretrainingscijfers openbaar maakt, en het transformeert een abstract veiligheidsdebat in een meetbaar getal. Als andere laboratoria weigeren dezelfde transparantie te bieden, zal het voorstel vastlopen bij het eerste obstakel dat het zelf noemt: vergelijking. Als ze dat wel doen, zullen toekomstige AI-“races” wellicht snelheidslimieten kennen die zijn vastgelegd in de eenheden die ingenieurs al gebruiken.