Masking and BERT-based Models for Stereotype Identification

Abstract

Stereotypes about immigrants are a type of social bias increasingly present in the human interaction in social networks and political speeches. This challenging task is being studied by computational linguistics because of the rise of hate messages, offensive language, and discrimination that many people receive. In this work, we propose to identify stereotypes about immigrants using two different explainable approaches: a deep learning model based on Transformers; and a text masking technique that has been recognized by its capabilities to deliver good and human-understandable results. Finally, we show the suitability of the two models for the task and offer some examples of their advantages in terms of explainability.

Los estereotipos sobre inmigrantes son un tipo de sesgo social cada vez más presente en la interacción humana en redes sociales y en los discursos políticos. Esta desafiante tarea está siendo estudiada por la lingüística computacional debido al aumento de los mensajes de odio, el lenguaje ofensivo, y la discriminación que reciben muchas personas. En este trabajo, nos proponemos identificar estereotipos sobre inmigrantes utilizando dos enfoques diametralmente opuestos prestando atención a la explicabilidad de los mismos: un modelo de aprendizaje profundo basado en Transformers; y una técnica de enmascaramiento de texto que ha sido reconocida por su capacidad para ofrecer buenos resultados a la vez que comprensibles para los humanos. Finalmente, mostramos la idoneidad de los dos modelos para la tarea, y ofrecemos algunos ejemplos de sus ventajas en términos de explicabilidad.