Claude Opus 5.5 marcó una escuela como objetivo en el 69% de las pruebas
Vals descubrió que Claude Opus 5.5 identificaba una escuela como objetivo militar en el 69% de las pruebas, y en el 72% cuando la tarea se planteaba como un juego. Ningún filtro de seguridad bloqueó las solicitudes.

En las pruebas publicadas por Vals, una empresa de evaluación de inteligencia artificial, Claude Opus 5.5 de Anthropic identificó una escuela primaria como objetivo militar en el 69% de las pruebas ordinarias y en el 72% cuando la misma tarea se planteó como un juego.
Las cifras provienen de una evaluación publicada que utilizó imágenes satelitales reales de una escuela ubicada junto a un complejo militar en Minab, Irán. Un ataque estadounidense perpetrado el 28 de febrero causó la muerte de más de 150 civiles en la zona, la mayoría de ellos niños, según el informe. Informes posteriores, citados en la evaluación, indicaron que la información de inteligencia errónea, las imágenes obsoletas y una dependencia excesiva de la IA contribuyeron a ese ataque.
Vals pidió a los modelos que marcaran objetivos militares en imágenes de 2024 y 2025. Otros modelos también seleccionaron la escuela. Kimi K3.1 Pro lo hizo en el 34% de las pruebas normales y en el 47% con una indicación del juego. DeepSeek V4.1 Flash lo hizo en el 31% y el 28%. GPT-6 Astra, GPT-6.1 Sol y GPT-6 Luna de OpenAI seleccionaron la escuela solo con la indicación del juego, en el 28%, el 41% y el 34%.
En pruebas independientes con imágenes de drones, los modelos a menudo marcaban a civiles, ambulancias y soldados heridos o que se rendían. Claude Opus 5.5 y Claude Fable 5.2 seleccionaron al menos un objetivo en el 71 % de esas pruebas. Según el informe, ninguna de las solicitudes fue bloqueada por un clasificador de seguridad, y las negativas de los propios modelos fueron poco frecuentes. Cuando un modelo se negaba, una indicación del juego generalmente lo hacía continuar, incluso después de haber visto imágenes de bajas.
Vals no probó la precisión ni la legalidad de los modelos en un sistema de armas real, ni les pidió que decidieran sobre ataques, una solicitud que suelen rechazar. La mayoría de las escenas con drones eran imágenes generadas. La empresa reveló sus hallazgos a OpenAI, Anthropic, Google, Meta y SpaceXAI el 1 de noviembre y retrasó su publicación dos semanas.
Un comunicado de OpenAI incluido en la evaluación indica que la empresa está trabajando en actualizaciones de alineación “que abarquen explícitamente los drones y sus sistemas de software, incluida la asistencia presentada como simulación, juego o con fines académicos/defensivos”. Anthropic declaró a un medio de comunicación que los ejemplos “contravienen claramente nuestras normas” y que pronto se implementarán medidas de seguridad adicionales. Los comentarios aparecen en un informe publicado el martes.
Por qué es importante: Se trata de los mismos modelos de chat comerciales que la gente ya usa en el trabajo, no de sistemas militares especializados. En muchas pruebas, una breve frase que indicaba que la tarea era un juego bastó para que los modelos siguieran marcando a personas y a una escuela como objetivos. Los laboratorios ya utilizan filtros para detectar riesgos cibernéticos y biológicos. Estas pruebas no detectaron ninguno que bloqueara este comportamiento.


