Activision har fået hjælp af Modulates AI-teknologi, kendt som ToxMod, til at overvåge samtaler i Call of Duty-serien.
Ifølge en blogindlæg på CallofDuty.comToxMod er designet til at udføre sentiment- og intentionsanalyse i realtid for at opdage misbrug i spillet og markere det til menneskelig moderation.
Det betyder, at den potentielt kan identificere ikke bare åbenlys hadefuld tale og chikane, men også mere subtile former for dårlig opførsel.
Indtil nu er ToxMod primært blevet brugt i mindre VR-titler som Among Us.
ToxMod markerer potentielt krænkende tale i spillet og sender det videre til gennemgang af Activisions menneskelige moderatorer.
Hvis det viser sig, at spillerne overtræder Call of Dutys officielle adfærdskodeks - som ikke tillader nedsættende kommentarer baseret på race, kønsidentitet eller -udtryk, seksuel orientering, alder, kultur, tro, mentale eller fysiske evner eller oprindelsesland - kan de blive straffet.
Disse straffe spænder fra to dages suspension til livstidsforbud for ekstreme eller gentagne overtrædelser.
ToxMod bliver betatestet i Call of Duty: Modern Warfare II og Warzone. En fuldskalalancering forventes sammen med udgivelsen af Modern Warfare III til november.
Indtil videre er det kun engelsksprogede chats, der er under overvågning, men Activision har tænkt sig at udvide sprogunderstøttelsen i fremtiden.
Hvordan fungerer ToxMod?
Traditionelt har det været spillernes ansvar at rapportere giftig adfærd. ToxMod ændrer dette ved proaktivt at identificere og håndtere skadelige interaktioner.
ToxMod rapporterer, at 67% af multiplayer-spillere har sagt, at de sandsynligvis ville holde op med at spille et spil, hvis de stødte på giftig adfærd, og 83% af voksne spillere på tværs af alle demografier har rapporteret, at de har oplevet giftighed online.
AI-teknologien er bygget til at forstå samtalens nuancer, fra tone og følelser til hensigt. Den kan angiveligt skelne mellem venligt drilleri og ægte toksicitet. Efter at have sorteret og analyseret potentielt skadelig tale sender den de mest sandsynlige tilfælde af ægte misbrug videre til menneskelige moderatorer.
Ifølge ToxMod bliver alle data anonymiseret og sikret i henhold til ISO 27001-standarder, og Modulate garanterer, at dataene hverken bliver solgt eller udlejet.
Spillere kan mene, at ToxMod truer ytringsfriheden - som muligvis bør udvides til at omfatte digitale miljøer - selvom det er spiludviklernes og platformenes privilegium.
Hvis ToxMod viser sig at være alt for drakonisk, kan Call of Duty-lobbyen blive et ret sterilt miljø.
