‘Call of Duty’ usará IA para combatir el comportamiento tóxico

Los jugadores tóxicos son uno de los problemas más grandes de Call of Duty. Pese a que existen mecanismos para reportarlos o silenciarlos, las medidas no siempre surten efecto. Es por ello que Activision comenzó a probar una herramienta que utiliza inteligencia artificial combatir el comportamiento abusivo.

En una entrada publicada en el blog de Call of Duty, Activision anunció que implementará un nuevo sistema de moderación de chat de voz en tiempo real a gran escala. La empresa echará de mano de ToxMod, una herramienta desarrollada por la empresa Modulate que emplea inteligencia artificial para identificar lenguaje discriminatorio, discurso de odio, acoso y otros comportamientos tóxicos.

ToxMod funciona en tres tiempos: primero, clasifica y procesa los datos de un chat de voz para determinar si la conversación requiere atención. En caso de cumplir ciertos parámetros, el sistema procederá a analizar el tono, contexto y la emoción percibida para determinar el tipo de comportamiento. Esto se logra por medio de modelos de aprendizaje automático, que según Modulate, comprenden señales emocionales y matizadas para diferenciar entre una broma y una mala conducta.

«Estos modelos de clasificación no son capaces de entender todo acerca de una conversación a primera vista, pero pueden buscar signos reveladores de ira, angustia, agresión e incluso intenciones siniestras más sutiles», menciona Modulate en uno de sus documentos. Por último, la herramienta es capaz de escalar los chats de voz más tóxicos para que los moderadores tomen las medidas pertinentes.

Call of Duty combatirá la toxicidad en todos los idiomas

ToxMod entiende 18 idiomas — incluido el español — y es capaz de comprender el contexto completo de una conversación dos o más de ellos. Esto es importante, ya que es común escuchar a personas proferir insultos racistas en un idioma distinto al inglés en Call of Duty.

Modulate utiliza modelos de lenguaje, inteligencia artificial y expertos humanos que dominan cada idioma de forma nativa y pueden identificar ciertas acciones nocivas. «La lucha contra el comportamiento tóxico tiene más matices y requiere fluidez en un idioma y la cultura del país de origen del idioma, así como la subcultura y la psicología de los juegos y el comportamiento en línea en general», menciona la empresa.

En una publicación anterior, Modulate comenta que ToxMod detecta categorías de riesgo específicas, como radicalización violenta o acoso infantil. Esto es posible gracias a algoritmos de detección que identifican patrones de comportamiento repetidos. Por ejemplo, si un jugador emplea lenguaje extremista en una ocasión, se clasifica como ofensa; pero si lo repite o lo intensifica a lo largo de varias semanas, se agrega a una categoría de riesgo para que los moderadores lo evalúen.

La inteligencia artificial no es infalible

Es importante mencionar que ToxMod no es la solución definitiva contra el comportamiento abusivo en Call of Duty. La herramienta se integrará a un sistema de moderación del juego que, entre otras cosas, incluye filtrado basado en texto disponible en 14 idiomas, así como un mecanismo para reportar a los jugadores que no respetan las reglas. La decisión final de sancionar o no al infractor quedará en manos del equipo antitoxicidad.

La primera beta comenzará hoy con la integración en Call of Duty: Modern Warfare II y Call of Duty: Warzone en Norteamérica. Posteriormente, se ampliará a todo el público con el lanzamiento de Call of Duty: Modern Warfare III el 10 de noviembre. Activision confirmó que la moderación comenzará en inglés, aunque el español y otros idiomas se agregarán en una fecha posterior.