Los emojis surgieron con lo digital y son una presencia constante en las redes sociales. Después de todo, son una forma de unir a las personas mientras se comunican, transmitiendo, por ejemplo, estados de ánimo y reacciones. Aparentemente, estos pequeños íconos dificultan la detección del discurso de odio en línea.
Es menos probable que se identifiquen las publicaciones abusivas si incluyen emojis.
Los gigantes de la tecnología y las redes sociales han recorrido un largo camino en el control de sus usuarios. Es decir, además de mitigar la desinformación, también han trabajado para eliminar el discurso de odio que, a pesar de los esfuerzos, prevalece.
Ahora, el Oxford Internet Institute ha concluido, a través de una investigación, que algunos algoritmos no son tan efectivos como se esperaba cuando las publicaciones incluyen emojis. Es decir, las publicaciones online abusivas pueden pasar desapercibidas si contienen estos iconos. Además, otros más aceptables se consideran erróneamente odiosos.
Tras la final de la Euro 2020, que perdió Inglaterra, Marcus Rashford, Bukayo Saka y Jadon Sancho se vieron inundados de comentarios racistas y ofensivos, una generosa porción de los cuales se ilustró con emojis. Por cierto, recuerda que el propio Instagram reconoció el error en la moderación de estos comentarios.
Esta insuficiente moderación sucedió, como descubrió el Oxford Internet Institute, por la presencia de los llamados emojis. Esto se debe a que la mayoría de los sistemas que se utilizan actualmente para preparar algoritmos se basan en grandes bases de datos de texto, que rara vez incluyen emojis. Por lo tanto, en el momento H, el algoritmo no detecta el contenido como incorrecto.
Base de datos de Oxford entrenada para detectar emojis
Para ayudar a resolver el problema, los investigadores del Oxford Internet Institute crearon una base de datos de unas 4.000 frases, incluidos emojis en un contexto ofensivo. Esto se utilizó para entrenar un modelo de Inteligencia Artificial (IA) para comprender los mensajes abusivos y aquellos que no lo eran. Además, capacitaron al modelo para comprender el contexto de las publicaciones. Es decir, aunque el emoji no sea en sí mismo ofensivo, fíjate si, con el texto que sigue, se puede entender como tal.
Los investigadores probaron el modelo contra la raza, el género, la identidad de género, la sexualidad, la religión y la discapacidad.
Los falsos positivos corren el riesgo de silenciar las voces de los grupos minoritarios.
dijo Hannah Rose Kirk, autora principal de la investigación de Oxford.
A pesar del éxito de la investigación y de la base de datos desarrollada por los investigadores de Oxford, que se comparte para que otras empresas puedan usarla para mejorar sus algoritmos, la tecnología no es completamente efectiva. Además de la evolución del lenguaje, que hace que los insultos sean impredecibles, el contexto no siempre es claro para un sistema de IA.
