Anthropic acelera al doble, pero METR dice que la evidencia está oculta.
METR constata que los modelos de Anthropic mejoran aproximadamente el doble de rápido que antes, en gran medida gracias a la ayuda de la IA. Anthropic censuró la mayor parte de las pruebas que respaldaban esta afirmación.
Según una revisión independiente, Anthropic está mejorando sus modelos de IA aproximadamente al doble de velocidad que hace un año. El problema es que la empresa censuró la mayor parte de la evidencia que los revisores consideraron más importante, por lo que el público debe confiar en su palabra para una conclusión que podría cambiar la percepción del riesgo que implica el ritmo de progreso de la IA.
La evaluación provino de Evaluación de modelos e investigación de amenazas (METR), Según se publicó el jueves, METR pasó 11 semanas en Anthropic, desde mediados de agosto hasta finales de octubre, con acceso a puntuaciones de referencia internas, métricas de capacitación, entrevistas con el personal y encuestas. No recibió ningún pago del laboratorio.
El número
En el índice de capacidad interna de Anthropic (AECI), las puntuaciones de los modelos han estado aumentando a un ritmo estimado. 1,9 veces La tasa anterior a octubre de 2025, con un intervalo de confianza del 95 % de 1,5 a 2,8 veces. En términos sencillos, METR afirma que Anthropic ha logrado aproximadamente dos años de progreso histórico en el último año. La mayoría del personal de METR que trabaja en el proyecto cree que el laboratorio probablemente esté mejorando en tareas bien definidas a un ritmo que duplica el de marzo de 2024 a octubre de 2025, aunque no les sorprendería que la cifra real se acercara más a 1,3 o 3 veces.
METR afirma poder descartar con seguridad que el crecimiento acelerado de la capacidad de procesamiento para el entrenamiento sea la causa. Las entrevistas y encuestas apuntan, en cambio, al uso intensivo de herramientas de IA para ayudar a los investigadores a escribir código, realizar experimentos y probar nuevas ideas. Las encuestas de Slack realizadas al personal sobre la aceleración percibida alcanzaron aproximadamente 12 veces para el último modelo interno en octubre; si bien METR subraya que esta evidencia es preliminar, es consistente con una mejora significativa. Se informó a los revisores que la IA aún no está realizando contribuciones altamente significativas y totalmente autónomas a las etapas más difíciles del entrenamiento, aunque ya se observan indicios de que esto está ocurriendo.
Lo que no puedes ver
Anthropic tenía el derecho unilateral de censurar información no pública del informe. METR afirma que la empresa eliminó la mayor parte de la evidencia que el equipo consideró más relevante para sus conclusiones sobre riesgos, incluyendo estimaciones detalladas de aceleración por etapa del oleoducto, análisis de cuellos de botella y pronósticos para modelos futuros. Anthropic declaró que los recortes tenían como objetivo eliminar información confidencial que pudiera beneficiar a desarrolladores rivales.
METR es tajante respecto al resultado: el público no puede juzgar las pruebas por sí mismo ni cotejarlas con otras fuentes. “Este informe no logra la ‘transparencia sobre las pruebas’”, escribió. Los lectores deben confiar en el criterio de METR más de lo que el grupo considera ideal para cuestiones de esta importancia. Noticias de AP Se observó la misma tensión: una advertencia sobre un progreso más rápido, vinculado a material que la mayoría de la gente no puede inspeccionar.
¿Por qué se cuestiona la afirmación sobre el ritmo?
Los revisores enumeran posibles errores en ambos sentidos. La aceleración podría limitarse a tareas sencillas y autocalificables, y exagerar el impacto en situaciones complejas. El crecimiento inicial del AECI de Anthropic fue más lento que el del sector en general, lo que podría inflar la comparación de “2x”. Por otro lado, métricas internas confidenciales sugieren que la aceleración podría ser superior a 2x y seguir en aumento, y METR no detectó obstáculos claros que impidieran mayores aceleraciones durante el próximo año.
Eso importa porque la auto-mejora recursiva —sistemas de IA que ayudan significativamente a construir la próxima generación más rápida— es el escenario que preocupa a los investigadores de seguridad, ya que podría comprimir los plazos. La estimación de METR es que la mayoría (quizás alrededor del 80%) de la actual La aceleración se debe a la asistencia de la IA, con mayor incertidumbre sobre los factores que la impulsarán a finales de 2025. El cofundador Sam McCandlish dijo que Anthropic planea su propio análisis público sobre la rapidez con la que avanza el progreso dentro de la empresa., Según The Verge,.
Por qué es importante
Si los laboratorios de vanguardia ya están obteniendo un gran aumento de productividad gracias a sus propios modelos, los organismos de control externos necesitan pruebas que el público pueda verificar, no solo cifras que acaparen los titulares. Duplicar la tasa de progreso cambia la cantidad de tiempo que las sociedades tienen para probar, regular y adaptarse. Ocultar las mediciones subyacentes convierte una evaluación independiente en algo más parecido a la opinión de un intermediario de confianza, lo cual es útil, pero no es lo mismo que una verificación abierta. Para los trabajadores que ya ven cómo la IA transforma la producción diaria: incluyendo días más largos en lugar de días más cortos. — La cuestión ya no es si las herramientas ayudan, sino con qué rapidez se generan compuestos útiles dentro de los laboratorios que las desarrollan, y quién tiene acceso a las cifras.
