Activision har fått hjelp av Modulates AI-teknologi, kjent som ToxMod, til å overvåke samtaler i Call of Duty-serien.
Ifølge en blogginnlegg på CallofDuty.comToxMod er utviklet for å utføre sentiment- og intensjonsanalyse i sanntid for å oppdage misbruk i spillet og flagge det for menneskelig moderering.
Det betyr at den potensielt kan identifisere ikke bare åpen hatefulle ytringer og trakassering, men også mer subtile former for dårlig oppførsel.
Frem til nå har ToxMod hovedsakelig blitt brukt i mindre VR-titler som Among Us.
ToxMod flagger potensielt krenkende ytringer i spillet og sender dem videre til gjennomgang av Activisions menneskelige moderatorer.
Hvis det viser seg at spillerne bryter Call of Duty's offisielle etiske retningslinjer - som ikke tillater nedsettende kommentarer basert på rase, kjønnsidentitet eller -uttrykk, seksuell legning, alder, kultur, tro, mentale eller fysiske evner eller opprinnelsesland - kan de bli straffet.
Straffene varierer fra to dagers utestengelse til livstids utestengelse ved ekstreme eller gjentatte overtredelser.
ToxMod blir betatestet i Call of Duty: Modern Warfare II og Warzone. En fullskala lansering er forventet sammen med utgivelsen av Modern Warfare III i november.
Foreløpig er det bare engelskspråklige chatter som overvåkes, men Activision har til hensikt å utvide språkstøtten i fremtiden.
Hvordan fungerer ToxMod?
Tradisjonelt har det vært spillernes ansvar å rapportere giftig atferd. ToxMod endrer dette ved proaktivt å identifisere og håndtere skadelige interaksjoner.
ToxMod rapporterer at 67% av flerspillerspillere har sagt at de sannsynligvis ville sluttet å spille et spill hvis de ble utsatt for giftig oppførsel, og 83% av voksne spillere i alle demografiske grupper har rapportert at de har opplevd giftig oppførsel på nettet.
AI-teknologien er bygget for å forstå nyanser i samtaler, fra tonefall og følelser til intensjon. Den kan angivelig skille mellom vennlig spøk og ekte toksisitet. Etter å ha sortert og analysert potensielt skadelige ytringer, sender den de mest sannsynlige tilfellene av ekte misbruk videre til menneskelige moderatorer.
Ifølge ToxMod er alle data anonymisert og sikret i henhold til ISO 27001-standarder, og Modulate garanterer at dataene verken vil bli solgt eller leid ut.
Spillere kan mene at ToxMod truer ytringsfriheten - som muligens bør utvides til å omfatte digitale miljøer - selv om dette er spillutviklernes og plattformenes privilegium.
Hvis ToxMod viser seg å være altfor drakonisk, kan Call of Duty-lobbyen bli et ganske sterilt miljø.
