Activision har tagit hjälp av Modulates AI-teknik, känd som ToxMod, för att övervaka konversationer i Call of Duty-serien.
Enligt en blogginlägg på CallofDuty.comToxMod är utformat för att utföra känslo- och avsiktsanalys i realtid för att upptäcka missbruk i spelet och flagga det för mänsklig moderering.
Det innebär att den potentiellt kan identifiera inte bara öppet hatprat och trakasserier utan även mer subtila former av dåligt uppförande.
Fram till nu har ToxMod främst använts i mindre VR-titlar som Among Us.
ToxMod flaggar potentiellt kränkande tal i spelet och vidarebefordrar det för granskning av Activisions mänskliga moderatorer.
Om det visar sig att Call of Duty bryter mot den officiella uppförandekoden - som inte tillåter nedsättande kommentarer baserade på ras, könsidentitet eller uttryck, sexuell läggning, ålder, kultur, tro, mentala eller fysiska förmågor eller ursprungsland - kan spelare få straff.
Dessa påföljder sträcker sig från två dagars avstängning till livstids avstängning vid extrema eller upprepade förseelser.
ToxMod betatestas i Call of Duty: Modern Warfare II och Warzone. En fullskalig lansering förväntas i samband med lanseringen av Modern Warfare III i november.
För närvarande är det bara engelskspråkiga chattar som övervakas, men Activision avser att utöka sitt språkstöd i framtiden.
Hur fungerar ToxMod?
Traditionellt har det legat på spelarna att rapportera toxiskt beteende. ToxMod ändrar detta genom att proaktivt identifiera och ta itu med skadliga interaktioner.
ToxMod rapporterar att 67% av multiplayer-spelare har sagt att de sannolikt skulle sluta spela ett spel om de stötte på giftigt beteende, och 83% av vuxna spelare i alla demografiska grupper har rapporterat att de stött på giftigt beteende online.
AI-tekniken är byggd för att förstå nyanser i konversationer, från ton och känsla till avsikt. Den kan enligt uppgift skilja mellan vänligt skämtande och genuin toxicitet. Efter att ha triagerat och analyserat potentiellt skadligt tal vidarebefordrar den de mest sannolika fallen av äkta missbruk till mänskliga moderatorer.
Enligt ToxMod anonymiseras och säkras all data enligt ISO 27001-standarder och Modulate garanterar att data varken säljs eller hyrs ut.
Spelare kan tycka att ToxMod äventyrar yttrandefriheten - som möjligen borde utvidgas till digitala miljöer - även om detta är spelutvecklarnas och plattformarnas privilegium.
Om ToxMod visar sig vara alltför drakonisk kan Call of Duty-lobbyn bli en ganska steril miljö.
