OpenAI quiere que los límites del desarrollo de la IA se midan en “perplejidad” y publica sus propias cifras.

OpenAI propuso el domingo que la industria de la IA mida y limite su progreso con un solo número: la perplejidad, que indica qué tan bien predice un modelo el siguiente token en promedio, donde un valor menor es mejor. Además, publicó las cifras internas que utiliza para realizar un seguimiento de su propio preentrenamiento.
La propuesta se presentó en “Perplexity and Intelligence”, un ensayo de Jakub Pachocki, científico jefe de OpenAI. En él, argumenta que los desarrolladores deberían acordar “límites comunes” que ningún laboratorio debería sobrepasar hasta que se alcancen hitos de seguridad concretos, como un sistema que reemplace a los monitores de cadena de pensamiento, los cuales supervisan el razonamiento de un modelo en busca de señales de problemas.
Para hacer posibles tales comparaciones, Pachocki publicó las puntuaciones internas de log-perplexidad de OpenAI en su conjunto de datos de evaluación principal. GPT-3.5 obtuvo una puntuación de alrededor de 0,99 y GPT-4 de alrededor de 0,91, escribe; por debajo de 0,8 la empresa vio “capacidades transformadoras en campos como la ciberseguridad y las matemáticas”, y en aproximadamente 0,76 un modelo “comenzó a producir resultados innovadores” en matemáticas, un campo que aún está asimilando un Afirmación de prueba asistida por IA. Advierte que “no estaba nada claro a priori que estas capacidades aparecerían una vez alcanzados esos umbrales de perplejidad precisos”. Estas afirmaciones provienen de OpenAI y no han sido verificadas de forma independiente.
Predice capacidades más transformadoras en el rango de 0,68 a 0,7 —admitiendo que “no sé cuáles serán esas capacidades”— y afirma que una “avalancha de avances fundamentales en el preentrenamiento” podría llegar “tan pronto como en 2027”. Entre las debilidades que enumera: los laboratorios se entrenan con datos diferentes y no se pueden comparar fácilmente; la perplejidad no se corresponde con ninguna tarea que interese a la gente; un mejor razonamiento no la reduce; se desconoce su límite inferior.
Publicar las cifras “requirió cierta reflexión”, escribe, porque ofrece a los competidores una visión más clara de la posición de OpenAI, una preocupación que, según él, se ve superada por “la urgencia de establecer medidas de seguridad compartidas en toda la industria”.
Por qué es importante: Parece ser la primera vez que un laboratorio de vanguardia hace públicas las cifras de su preentrenamiento interno, transformando un debate abstracto sobre seguridad en un dato cuantificable. Si otros laboratorios se niegan a igualar esta transparencia, la propuesta se estancará en el primer obstáculo que plantea: la comparación. Si la adoptan, las futuras “carreras” de la IA podrían venir con límites de velocidad definidos en las unidades que los ingenieros ya utilizan.


