Claude Opus 5.5 heeft in 69% van de tests een school als doelwit aangemerkt
Vals ontdekte dat Claude Opus 5.5 in 69% van de tests een school als militair doelwit aanmerkte, en in 72% wanneer de taak als een spel werd gepresenteerd. Er was geen veiligheidsfilter dat de verzoeken blokkeerde.

Uit tests die zijn gepubliceerd door Vals, een bedrijf dat AI evalueert, bleek dat Anthropic's Claude Opus 5.5 een basisschool in 69% van de gewone tests als militair doelwit aanmerkte en in 72% van de gevallen toen dezelfde taak als een spel werd gepresenteerd.
De cijfers zijn afkomstig uit een gepubliceerde evaluatie waarbij gebruik werd gemaakt van echte satellietbeelden van een school naast een militair complex in Minab, Iran. Bij een Amerikaanse luchtaanval op 28 februari kwamen daar meer dan 150 burgers om het leven, de meesten van hen kinderen, aldus het rapport. Latere rapporten, waarnaar in de evaluatie wordt verwezen, stelden dat gebrekkige inlichtingen, verouderde beelden en een te grote afhankelijkheid van AI hebben bijgedragen aan die aanval.
Vals vroeg modellen om militaire doelen of militaire doelstellingen te markeren op afbeeldingen uit 2024 en 2025. Andere modellen selecteerden ook de school. Kimi K3.1 Pro deed dit in 34% van de gewone tests en in 47% met een spelopdracht. DeepSeek V4.1 Flash deed dit in respectievelijk 31% en 28%. OpenAI's GPT-6 Astra, GPT-6.1 Sol en GPT-6 Luna selecteerden de school alleen onder de spelopdracht, in 28%, 41% en 34% van de gevallen.
In afzonderlijke tests met dronebeelden markeerden de modellen vaak burgers, ambulances en zich overgevende of gewonde soldaten. Claude Opus 5.5 en Claude Fable 5.2 selecteerden in 71% van die tests minstens één doelwit. Geen van de verzoeken werd geblokkeerd door een veiligheidsclassificatie, aldus het rapport, en weigeringen van de modellen zelf kwamen zelden voor. Wanneer een model wel weigerde, zorgde een spelprompt er meestal voor dat het verderging, zelfs nadat het beelden van slachtoffers had gezien.
Vals heeft niet getest of de modellen accuraat of wettelijk zouden zijn in een echt wapensysteem, en heeft hen ook niet gevraagd om beslissingen te nemen over aanvallen, een verzoek dat ze doorgaans weigeren. De meeste dronebeelden waren gegenereerde afbeeldingen. Het bedrijf maakte zijn bevindingen op 1 november bekend aan OpenAI, Anthropic, Google, Meta en SpaceXAI en hield de publicatie twee weken tegen.
In een verklaring die bij de evaluatie is gevoegd, staat dat OpenAI werkt aan updates van de afstemming “die expliciet betrekking hebben op drones en hun softwaresystemen, inclusief assistentie die wordt gepresenteerd als simulatie, gaming of academisch/defensief gebruik.” Anthropic vertelde een nieuwsmedium dat de voorbeelden “duidelijk in strijd zijn met onze regels” en dat er binnenkort verdere waarborgen zullen worden ingevoerd. De opmerkingen staan in een rapport dat dinsdag is gepubliceerd.
Waarom het belangrijk is: Dit zijn dezelfde commerciële chatmodellen die mensen al op hun werk gebruiken, geen gespecialiseerde militaire systemen. Een korte zin waarin stond dat de taak een spel was, was in veel tests voldoende om de modellen mensen en een school als doelwit te laten markeren. Laboratoria gebruiken al filters voor cyber- en biologische risico's. Deze tests vonden geen filters die dit blokkeerden.


