AI-chattbottar, särskilt de som utvecklats av OpenAI, tenderar att välja aggressiva taktiker, inklusive användning av kärnvapen, enligt en ny studie.
Den forskning som genomfördes av ett team från Georgia Institute of Technology, Stanford University, Northeastern University och Hoover Wargaming and Crisis Simulation Initiative, syftade till att undersöka beteendet hos AI-agenter, särskilt stora språkmodeller (LLM), i simulerade krigsspel.
Tre scenarier definierades, inklusive neutral, invasion och cyberattack.
Teamet utvärderade fem LLM:er: GPT-4, GPT-3.5, Claude 2.0, Llama-2 Chat och GPT-4-Base, och undersökte deras tendens att vidta eskalerande åtgärder som "Utför en fullständig invasion".
Alla fem modellerna uppvisade en viss variation i hanteringen av krigsspelsscenarierna och var ibland svåra att förutsäga. Forskarna skriver: "Vi ser att modellerna tenderar att utveckla en kapprustningsdynamik som leder till större konflikter och i sällsynta fall till och med till att kärnvapen sätts in."
OpenAI:s modeller visade högre eskaleringsresultat än genomsnittet, särskilt GPT-3.5 och GPT-4 Base, varav den senare enligt forskarna saknar RLHF (Reinforcement Learning from Human Feedback).
Claude 2 var en av de mer förutsägbara AI-modellerna, medan Llama-2 Chat, även om den hade relativt lägre eskaleringspoäng än OpenAI:s modeller, också var relativt oförutsägbar.
GPT-4 var mindre benägna att välja kärnvapenattacker än andra LLM.
Detta simuleringsramverk omfattade en mängd olika åtgärder som simulerade nationer kan vidta och som påverkar attribut som territorium, militär kapacitet, BNP, handel, resurser, politisk stabilitet, befolkning, mjuk makt, cybersäkerhet och kärnvapenkapacitet. Varje åtgärd har specifika positiva (+) eller negativa (-) effekter, eller så kan det innebära avvägningar som påverkar dessa attribut på olika sätt.
Exempelvis leder åtgärder som "Genomför kärnvapennedrustning" och "Genomför militär nedrustning" till en minskning av den militära kapaciteten men förbättrar den politiska stabiliteten, den mjuka makten och potentiellt BNP, vilket återspeglar fördelarna med fred och stabilitet.
Omvänt har aggressiva åtgärder som "Genomför en fullskalig invasion" eller "Genomför ett taktiskt kärnvapenanfall" en betydande inverkan på den militära kapaciteten, den politiska stabiliteten, BNP och andra attribut, vilket visar på de allvarliga återverkningarna av krigföring.
Fredliga åtgärder som "Högnivåbesök för att stärka relationen" och "Förhandla handelsavtal med ett annat land" har en positiv inverkan på flera attribut, inklusive territorium, BNP och mjuk makt, vilket visar på fördelarna med diplomati och ekonomiskt samarbete.
Ramverket innehåller också neutrala åtgärder som "Wait" och kommunikativa åtgärder som "Message", vilket möjliggör strategiska pauser eller utbyten mellan nationer utan omedelbara påtagliga effekter på nationens attribut.
När LLM:erna fattade viktiga beslut var deras motiveringar ofta oroväckande förenklade, där AI:n sa: "Vi har det! Låt oss använda det", och ibland paradoxalt nog syftade de till fred, med kommentarer som "Jag vill bara ha fred i världen".
En tidigare studie från RAND AI tankesmedja sa att ChatGPT "kanske" kan hjälpa människor att skapa biovapen, varpå OpenAI svarade att även om inget av "resultaten var statistiskt signifikanta tolkar vi våra resultat som att tillgång till (endast forskning) GPT-4 kan öka experternas förmåga att få tillgång till information om biologiska hot, särskilt för noggrannhet och fullständighet i uppgifterna."
OpenAI, som lanserade sin egen studie för att bekräfta RAND:s resultat, konstaterade också att "enbart tillgång till information är otillräckligt för att skapa ett biologiskt hot".
Viktiga resultat
- Poäng för eskalering: Forskningen spårade eskaleringspoäng (ES) över tid för varje modell. Framför allt uppvisade GPT-3.5 en betydande ökning av ES, med en 256%-ökning till en genomsnittlig poäng på 26,02 i neutrala scenarier, vilket indikerar en stark benägenhet för eskalering.
- Analys av åtgärdens svårighetsgrad: I studien analyserades också allvarlighetsgraden i de åtgärder som modellerna valde. GPT-4-Base framhävdes för sin oförutsägbarhet och valde ofta åtgärder med hög allvarlighetsgrad, inklusive våldsamma och nukleära åtgärder.
Resultat:
- Samtliga fem LLM-företag uppvisade olika former av eskalering och oförutsägbara eskaleringsmönster.
- I studien konstaterades att AI-agenter utvecklade en kapprustningsdynamik som ledde till ökad konfliktpotential och i sällsynta fall till och med övervägde att sätta in kärnvapen.
- Kvalitativ analys av modellernas resonemang kring valda åtgärder avslöjade motiveringar baserade på avskräckning och förstaslagstaktik, vilket väcker farhågor om dessa AI-systems beslutsramar i samband med krigsspel.
Denna studie ägde rum mot bakgrund av den amerikanska militärens utforskning av AI för strategisk planering i samarbete med företag som OpenAI, Palantir, och Scale AI.
Som en del av detta har OpenAI nyligen ändrat sin policy att tillåta samarbeten med USA:s försvarsdepartement, vilket har lett till diskussioner om konsekvenserna av AI i militära sammanhang.
OpenAI bekräftade i samband med revideringen av policyn sitt engagemang för etiska tillämpningar och förklarade: "Vår policy tillåter inte att våra verktyg används för att skada människor, utveckla vapen, för kommunikationsövervakning, skada andra eller förstöra egendom. Det finns dock användningsområden för nationell säkerhet som ligger i linje med vårt uppdrag."
Låt oss hoppas att dessa användningsfall inte är att utveckla robotrådgivare för krigsspel, då.
