I en värld där "krigsspel" inte längre bara avser brädspel eller videospel utan scenarier på liv och död som möjliggörs av maskinell intelligens är ansvarsfrågan monumental.
Militären ökar sin forskning och sina investeringar i AI.
Vissa analytiker definierade ett 11-dagars Israel-Palestina-möte 2021 som det första "AI-krig", där israelisk teknik bidrog till underrättelseinhämtning och utplacering på slagfältet.
Under de senaste månaderna, tDen amerikanska militären etablerade en arbetsgrupp för generativ AI och framgångsrikt testat en autonomt AI-drivet jetplan.
AI:s ökande roll i krigföring innebär en rad komplexa juridiska och etiska dilemman som vi ännu inte har svarat på, trots att AI-driven militär teknik används just nu.
Vem bär ansvaret när AI går fel?
Militärtekniktillverkaren Rafaels "Eldvävare" lokaliserar fiendens positioner med hjälp av sensorer och föreslår vilken enhet som är bäst placerad för att beskjuta dem.
I produktbeskrivningen står det: "Fire Weaver beräknar insatsreglerna och styr inriktning och avfyrning genom att använda den lämpligaste skytten för varje förvärvat mål."
"Beräknar" är det avgörande ordet här - AI-vapen kan reducera beslutet att förstöra ett mål till ett binärt ja/nej-beslut, men vad händer om Fire Weaver misstar ett barn för en fiendesoldat? Eller en lastbil för humanitärt bistånd i stället för ett fiendefordon?
För närvarande är bristen på moralisk, etisk och juridisk klarhet skriande. AI befinner sig i ett juridiskt och etiskt vakuum, och så kan det komma att förbli under en tid framöver, eftersom lagstiftningen är notoriskt långsam - och sällan möter en så snabbt utvecklande teknik.
I samhället i stort finns det redan många exempel på att AI äventyrar människor och deras rättigheter. Dessa exempel ger en inblick i det tomrum i lagstiftning och etik som AI och dess olika användningsområden skapar.
Till exempel, ChatGPT påstods en man från Georgia, Mark Walters, befanns skyldig till förskingring och anklagade juridikprofessorn Jonathan Turley för sexuella övergrepp. ChatGPT var falskt i båda fallen.
På samma sätt har Getty Images och flera konstnärer, författare och andra upphovsmän lanserat stämningar om upphovsrätt mot teknikföretag för att de använder utbildningsdata för att bygga sina modeller.
Utbildningsdata samlas ofta in från tredje part, t.ex. Common Crawl, och "skuggbibliotek" som Bibliotik, som liknar torrentsajter som PirateBay.
Vem är i så fall ansvarig för upphovsrättsintrång? AI-utvecklarna eller utgivarna av datasetet? Det är en tecknad ansvarscirkel där varje potentiellt skyldig part pekar på dem som står bredvid dem, och i slutändan slipper alla undan skulden.
Detta oklara etiska landskap är mycket mer riskfyllt i samband med AI-vapen och algoritmisk militär taktik, där en modells beräkningar bokstavligen kan avgöra liv eller död.
Militära organisationer är redan medvetna om det paradigmskifte som AI-vapen innebär. Enligt försvarsdepartementet (DoD) har den första av dess fem "etiska principer för artificiell intelligens" för militär användning är "Ansvarig", definierat som "DoD-personal kommer att utöva lämpliga nivåer av omdöme och försiktighet, samtidigt som de förblir ansvariga för utveckling, utplacering och användning av AI-funktioner."
Detta innebär att en människa i slutändan måste vara ansvarig för maskinens handlingar. Militären har alltid förlitat sig på principen att någon - vanligtvis befälhavaren eller en soldat - måste hållas ansvarig för åtgärder som vidtas under krigföring. AI:s roll i beslutsprocessen blir dock alltmer oklar.
Den första frågan är, när AI tar på sig mer sofistikerade roller inom målinriktning, övervakning och andra områden, motsvarar det att trycka på "Godkänn"-knappen skuld?
Om AI:s förutsägelser till exempel skulle slå fel och leda till civila dödsoffer, är det tveksamt om någon skulle acceptera att "maskinen" får hela skulden för en olycka.
I sin tur kan det uppstå situationer där människor felaktigt beskylls för sin roll i en olycka som de inte bidragit till, vilket antropologen M.C. Elish beskriver som en "moralisk skrynkelzon."
Elishs forskning om industriella och maskinbaserade olyckor tyder på att människor tenderar att ta på sig skulden för alla olyckor, även om felet ligger hos maskinen, algoritmen eller den beslutsfattare som godkände tekniken från första början.
Hon tar upp flera exempel från verkligheten, t.ex. kärnkraftsolyckan på Three Mile Island i Pennsylvania och kraschen med Air France Flight 447, som till stor del tillskrevs "den mänskliga faktorn" snarare än en mer komplicerad serie av fel som var fördelade på flera individer och system.
Elish säger om ansvar i AI-eran: "När det gäller autonom och robotiserad teknik är regler, lagar och normer fortfarande under utformning och kan vara särskilt känsliga för osäkerheter eller till och med ansvarsflykt."
Detta väcker också frågor om de demokratiska processernas roll i krigföringen och om suveräniteten i det mänskliga beslutsfattandet. När Vietnamkriget sändes i vardagsrummen runt om i USA påverkades den allmänna opinionen och politiken av de omedelbara konsekvenserna av kriget.
Däremot kan AI-stödd strid ta bort de samhälleliga kontrollerna och balanserna från den allmänna opinionen och det demokratiska samtalet.
Etikern och filosofen Thomas Metzinger understryker att etiska normer inte bara är juridiska konstruktioner utan även sociala som uppstår i demokratiska processer.
Om algoritmerna fattar besluten blir den mänskliga inblandningen - och därmed det moraliska ansvaret - diffus och överflödig.
Internationella rättsliga konsekvenser av AI i krigföring
En av Genèvekonventionens grundpelare är principen om "åtskillnad", som innebär att man ska skilja mellan stridande och civila.
Tekniken har redan visat sig misslyckas med att uppfylla löftena om ökat skydd för civila, då endast 10% av dem som dödades i amerikanska drönarattacker under Obamas presidentskap var de avsedda målen, enligt läckta dokument från The Intercept.
AI-algoritmer är bara så bra som de data de tränas på och de regler de är programmerade att följa. När det gäller krigföring kan en algoritm misstolka data på grund av krigsdimma, bristfälliga träningsdata eller avsiktligt vilseledande fiendetaktik.
Internationella rödakorskommittén (ICRC) har inlett diskussioner om huruvida autonoma vapensystem är lagliga enligt gällande internationell humanitär rätt, men det finns få konkreta definitioner.
De konstaterar att befintliga ramverk är dåligt lämpade för de nya utmaningar som AI innebär, och de ICRC:s föreslagna principer är vaga, till exempel: "Oförutsägbara autonoma vapensystem bör uttryckligen uteslutas."
Var sätter vi gränsen för "oförutsägbart" när ett litet misstag kan få katastrofala följder?
Dessutom är slagfältet i ständig förändring och kommer att ge upphov till så kallade "edge cases", det vill säga blinda fläckar som inte beaktas i AI-utbildningen. Att bygga AI-system som reagerar på dynamiska miljöförhållanden med samma reaktionstider som människor är exceptionellt svårt.
Även om AI-vapen kan bibehålla precisionen i typiska slagfältsscenarier, vad händer när miljön förändras från vad modellen tror är "marksanningen", eller när marginalfall påverkar dess precision?
Erosion av moralisk känslighet
Dödandet i krigföring har förändrats kraftigt i och med tillkomsten av moderna militära strategier och taktiker.
Under första världskriget kom historiska analyser och redogörelser som S.L.A. Marshalls kontroversiella bok "Män mot eld" tyder på att endast 15-25% av soldaterna i frontlinjen avfyrade sina vapen med avsikt att döda.
I dag upplever en soldat som styr en drönare på tusentals mils avstånd inte de omedelbara känslomässiga och psykologiska konsekvenserna av sina handlingar, vilket har visat sig i en generellt lägre förekomst av PTSD och andra psykiska problem jämfört med dem som tjänstgör i fält.
Själva utformningen av militär teknik har anpassats till nya paradigm för "distanskrigföring". De kontroller som används för drönare har uppmärksammats för sin likhet med videospelkontroller, ett designval som kanske inte är oavsiktligt.
AI-operatörer kan fatta beslut om liv och död i en miljö som abstraherar krigets realiteter till datapunkter och bilder på en skärm, vilket de sista moraliska kopplingarna vi har till livet för dem som dras in i konflikten.
Hur går vi vidare nu?
När militär AI utvecklas till något som många är allvarligt rädda för, läggs ansvaret för misstag och misslyckanden på en enskild person, utvecklare, organisationer eller hela grupper verkar osannolikt.
Vem eller vad är det då som bär ansvaret? HHur undviker vi att kliva in i en framtid där dödandet blir mer maskinellt än mänskligt och där det etiska ansvaret försvinner i algoritmiska abstraktioner?
Med tiden kommer allt intelligentare artificiella system sannolikt att förändra etik och ansvar, i synnerhet om de visar tecken på känslighet eller medvetande.
Men det förklarar inte hur den här situationen hanteras i dag, och som så mycket annat i AI-världen finns det fler frågor än svar.
