OpenAI souhaite que les limites du développement de l'IA soient mesurées en “ perplexité ” et publie ses propres chiffres.

Dimanche, OpenAI a proposé que l'industrie de l'IA mesure et plafonne ses progrès avec un seul chiffre — la perplexité, soit la capacité d'un modèle à prédire en moyenne le jeton suivant, où plus bas est mieux — et a publié les chiffres internes qu'elle utilise pour suivre son propre pré-entraînement.
Cette proposition figure dans “ Perplexité et intelligence ”, un essai de Jakub Pachocki, directeur scientifique d'OpenAI. Il y soutient que les développeurs devraient s'entendre sur des “ limites communes ” qu'aucun laboratoire ne franchirait tant que des étapes de sécurité concrètes n'auraient pas été atteintes — comme par exemple la mise en place d'un système successeur aux moniteurs de chaîne de pensée, qui surveillent le raisonnement d'un modèle afin de détecter tout signe de dysfonctionnement.
Pour rendre ces comparaisons possibles, Pachocki a publié les scores de log-perplexité internes d'OpenAI sur son principal ensemble de données d'évaluation. GPT-3.5 a obtenu un score d'environ 0,99 et GPT-4 d'environ 0,91, écrit-il ; en dessous de 0,8, l'entreprise a constaté…“capacités transformatrices dans des domaines comme la cybersécurité et les mathématiques ”, et à environ 0,76, un modèle “ a commencé à produire des résultats révolutionnaires ” en mathématiques — le domaine étant encore en train d'assimiler un Preuve assistée par l'IA. Il souligne qu“” il n’était absolument pas évident a priori que ces capacités apparaîtraient une fois ces seuils de perplexité précis atteints ». Ces affirmations proviennent d’OpenAI et n’ont pas été vérifiées de manière indépendante.
Il prédit des capacités de transformation plus importantes dans la fourchette 0,68–0,7 — admettant “ je ne sais pas quelles seront ces capacités ” — et affirme qu’une “ avalanche d’avancées fondamentales en matière de pré-entraînement ” pourrait survenir “ dès 2027 ”. Parmi les faiblesses qu’il énumère : les laboratoires s’entraînent sur des données différentes et ne peuvent être comparés facilement ; la perplexité ne correspond à aucune tâche qui intéresse les utilisateurs ; un meilleur raisonnement ne la réduit pas ; sa valeur minimale est inconnue.
La publication de ces chiffres “ a nécessité une certaine réflexion ”, écrit-il, car elle permet aux concurrents d’avoir une idée plus précise de la position d’OpenAI – une préoccupation qui, selon lui, est contrebalancée par “ l’urgence d’établir des mesures de sécurité communes à l’ensemble du secteur ”.
Pourquoi c'est important : Il semble que ce soit la première fois qu'un laboratoire de pointe rende publiques ses données de préentraînement interne, transformant ainsi un débat abstrait sur la sécurité en un indicateur concret. Si d'autres laboratoires refusent d'adopter cette transparence, la proposition se heurtera au premier obstacle qu'elle identifie : la comparaison. S'ils suivent cet exemple, les futures “ courses ” à l'IA pourraient se dérouler avec des limitations de vitesse exprimées dans les unités de mesure que les ingénieurs utilisent déjà.


