Anthropic afirma que Claude demostró que 123 bibliotecas de código abierto no pueden fallar

Anthropic afirma que Claude ha demostrado matemáticamente que el código sometido a pruebas de fuzzing en 123 bibliotecas de código abierto no puede fallar con ninguna entrada inferior a 64 MB, y que en el proceso se encontraron errores que años de pruebas habían pasado por alto.

La obra, publicado por Anthropic el 22 de octubre La startup de verificación formal Theorem cubre 239 puntos de entrada del proyecto OSS-Fuzz de Google. Anthropic lo denomina el primer esfuerzo a gran escala para utilizar IA en la verificación formal de software de producción a nivel de código ensamblador.

De las pruebas a las demostraciones

El fuzzing consiste en introducir una gran cantidad de datos aleatorios en un programa para ver qué falla, pero nunca puede probar todas las entradas. Anthropic convirtió cada prueba de fuzzing existente en una regla formal: "esta prueba nunca falla", y le pidió a Claude que demostrara que se cumple para cualquier entrada de menos de 64 MB.

Las demostraciones funcionan con código máquina RISC-V compilado, en lugar de con código fuente. En pocas semanas, Claude escribió unos 180 millones de líneas de demostraciones en el asistente de demostraciones Rocq, lo que equivale a unas 600 000 líneas por programa típico. No es necesario que las lea ningún humano; el verificador Rocq las confirma automáticamente.

Errores detectados en las pruebas

Cada vez que una prueba fallaba, Claude encontraba un error, lo corregía y volvía a intentarlo. Anthropic afirma que este esfuerzo reveló cientos de errores, incluyendo una escritura fuera de límites en un descompresor que solo aparecía en entradas de aproximadamente 20 MB con una disposición poco común, y el redescubrimiento de una falla conocida en el analizador XML de libexpat.

En pruebas separadas, Claude demostró que el código zlib del kernel de Linux coincide con la especificación del formato, y mientras intentaba verificar un lector de PDF ampliamente utilizado, encontró en una semana tantos errores de seguridad como los que normalmente se reportan en un año. Los detalles están en el apéndice técnico.

Lo que no demuestra

Anthropic deja claro que “verificado formalmente” no significa libre de errores. Las pruebas presuponen binarios RISC-V de un solo hilo y enlazados estáticamente en Linux, mientras que la mayoría de las implementaciones reales se ejecutan en x86 o ARM. Las comprobaciones de memoria utilizadas no detectan todos los errores de seguridad de memoria, y no se cubrieron todos los puntos de entrada de cada biblioteca.

El coste es otro inconveniente: las pruebas pueden requerir cientos de millones de tokens. Anthropic afirma que Claude Opus 5.5 resolvió la mitad de una prueba comparativa de 36 tareas con aproximadamente 40% tokens menos que Opus 5, y los agentes que compartieron pruebas utilizaron 17% tokens menos.

Por qué es importante

La IA se está volviendo muy buena para encontrar errores, ya que Fallos en PHP2Shell mostró esta semana. Las pruebas son una forma de demostrar que clases enteras de errores simplemente no existen. Theorem ha publicado un Claude habilidad para los mantenedores de código abierto que desean inscribir sus proyectos, y estimaciones que 95% del código máquina en el ecosistema de software Nix podrían verificarse para finales de 2027 para aproximadamente 134 millones de dólares.