Detectando el odio ideológico en Twitter. Desarrollo y evaluación de un detector de discurso de odio por ideología política en tuits en español

Autores/as

  • Javier J Amores Universidad de Salamanca
  • David Blanco-Herrero Universidad de Salamanca
  • Patricia Sánchez-Holgado Universidad de Salamanca
  • Maximiliano Frías-Vázquez Universidad de Salamanca España

DOI:

https://doi.org/10.7764/cdi.49.27817

Palabras clave:

discurso de odio, odio en línea, Twitter, ideología política, aprendizaje profundo, aprendizaje automático, clasificación supervisada

Resumen

El discurso de odio propagado a través de redes sociales como Twitter merece atención especial, ya que su incremento puede relacionarse con el aumento de crímenes de odio. De las 11 categorías de discriminación que contempla el Ministerio de Interior de España, la segunda en la que más delitos de odio se registran al año es la ideología. Sin embargo, esta categoría queda fuera de la mayor parte de los planes de acción para estudiar y combatir los delitos de odio. Lo mismo ocurre con los trabajos académicos, que se centran mayoritariamente en el odio en inglés y a nivel general. Los que estudian un único tipo de odio se han enfocado en el racismo, la xenofobia o la discriminación de género, pero nunca en la ideología política. Asimismo, los prototipos de detección desarrollados hasta ahora no usan bases de datos generadas manualmente por varios codificadores. Esta investigación busca superar estas limitaciones, desarrollando y evaluando un detector automático de discurso de odio por motivos ideológicos en Twitter en español a partir de técnicas de aprendizaje automático supervisado. Para ello, se ha desarrollado un total de ocho modelos predictivos a partir de un corpus de entrenamiento generado ad-hoc, y haciendo uso de modelado superficial y de aprendizaje profundo, lo que permite mejorar el rendimiento final del prototipo. El desarrollo del corpus permitió observar, además, que un 16,2% de la muestra, recogida en el otoño de 2019, incluyó algún tipo de odio ideológico.

Biografía del autor/a

Javier J Amores , Universidad de Salamanca

Investigador miembro del Observatorio de los Contenidos Audiovisuales. Graduado en Comunicación Audiovisual y máster en Investigación en Comunicación Audiovisual por la Universidad de Salamanca, actualmente desarrolla su tesis doctoral en la misma Universidad, con el apoyo financiero de la Junta de Castilla y León y el Fondo Social Europeo. Su investigación se centra en el análisis de medios y redes sociales, la comunicación social, el discurso de odio y los métodos computacionales en ciencias sociales.

David Blanco-Herrero, Universidad de Salamanca

Doctorando en la Universidad de Salamanca, donde desarrolla su tesis con una beca FPU. Es graduado en Periodismo (Universidad a Distancia de Madrid) y Administración de Empresas (Universidad de León) y máster en Comunicación Audiovisual (Universidad de Salamanca). Es miembro del Observatorio de los Contenidos Audiovisuales y sus líneas de investigación son la ética periodística, la desinformación y el discurso de odio. Es asistente editorial en el Anuario Electrónico de Estudios en Comunicación Social “Disertaciones”.

Patricia Sánchez-Holgado, Universidad de Salamanca

Investigadora en la Universidad de Salamanca y miembro del Observatorio de los Contenidos Audiovisuales. Licenciada en Publicidad y Relaciones Públicas (Universidad Complutense de Madrid). Es profesora asociada en la Facultad de Lenguas y Educación de la Universidad Nebrija de Madrid y en la Facultad de Comunicación de la Universidad Pontificia de Salamanca. Experta en Big Data (Universidad Pontificia de Salamanca) y máster en Estudios de la Ciencia, la Tecnología y la Innovación (Universidad de Oviedo).

Maximiliano Frías-Vázquez, Universidad de Salamanca España

Doctorando en la Universidad de Salamanca e investigador miembro del Observatorio de los Contenidos Audiovisuales. Licenciado en Ciencias de la Comunicación por la Universidad La Salle, México, y Máster en Investigación en Comunicación Audiovisual por la Universidad de Salamanca, investiga en las líneas de estudio de la migración y el discurso de odio, el análisis de redes sociales y el big data.

Citas

Alonso González, M. (2017). Predicción política y Twitter: Elecciones generales de España 2015 (Political prediction and Twitter: Spanish legislative elections 2015). ZER: Revista de Estudios de Comunicación = Komunikazio Ikasketen Aldizkaria, 22(43), 13-30. https://doi.org/10.1387/zer.16298

Amores, J. J., Arcila-Calderón, C. A., & Stanek, M. (2019). Visual frames of migrants and refugees in the main Western European media. Economics & Sociology, 12(3), 147-161. https://doi.org/10.14254/2071-789X.2019/12-3/10

Amores, J. J., Arcila-Calderón, C., & Blanco-Herrero, D. (2020). Evolution of negative visual frames of immigrants and refugees in the main media of Southern Europe. Profesional de la Información, 29(6). Retrieved from https://revista.profesionaldelainformacion.com/index.php/EPI/article/view/80525

Anti-Defamation League. (2020). Online Hate and Harassment. The American Experience 2020. The ADL Center for Technology and Society. Retrieved from https://www.adl.org/media/14643/download

Anti-Defamation League. (2021). Online Hate and Harassment. The American Experience 2021. The ADL Center for Technology and Society. Retrieved from https://www.adl.org/media/16033/download

Arcila-Calderón, C., Blanco-Herrero, D., & Valdez-Apolo, M. B. (2020). Rechazo y discurso de odio en Twitter: análisis de contenido de los tuits sobre migrantes y refugiados en español (Rejection and Hate Speech in Twitter: Content Analysis of Tweets about Migrants and Refugees in Spanish). REIS: Revista Española de Investigaciones Sociológicas, 172, 21-40. https://doi.org/10.5477/cis/reis.172.21

Arcila-Calderón, C., Ortega-Mohedano, F., Amores, J. J., & Trullenque, S. (2017). Análisis supervisado de sentimientos políticos en español: clasificación en tiempo real de tweets basada en aprendizaje automático (Supervised sentiment analysis of political messages in Spanish: Real-time classification of tweets based on machine learning). Profesional de la Información, 26(5), 973-982. https://doi.org/10.3145/epi.2017.sep.18

Arroyo, S. C. (2017). El concepto de delitos de odio y su comisión a través del discurso: especial referencia al conflicto con la libertad de expresión (The concept of hate crimes and their execution through speech: special reference to the conflict with freedom of speech). Anuario de derecho penal y ciencias penales, 70(1), 139-225. Retrieved from http://agora.edu.es/servlet/articulo?codigo=6930585

Badjatiya, P., Gupta, S., Gupta, M., & Varma, V. (2017, April). Deep learning for hate speech detection in tweets. In Proceedings of the 26th International Conference on World Wide Web Companion (pp. 759-760). https://doi.org/10.1145/3041021.3054223

Bane, K. C. (2019). Tweeting the agenda: How print and alternative web-only news organizations use Twitter as a source. Journalism Practice, 13(2), 191-205. https://doi.org/10.1080/17512786.2017.1413587

Benesch, S. (2014). Defining and diminishing hate speech. In P. Grant (Ed.), State of the World’s Minorities and Indigenous Peoples (pp. 18-25). Retrieved from https://minorityrights.org/publications/state-of-the-worlds-minorities-and-indigenous-peoples-2014-july-2014/

Calvert, C. (1997). Hate speech and its harms: A communication theory perspective. Journal of Communication, 47(1), 4-19. https://doi.org/10.1111/j.1460-2466.1997.tb02690.x

Carmona, O. I. (2010). Internet 2.0: El territorio digital de los prosumidores (Web 2.0: the digital territory of prosumers). Revista Estudios Culturales, (5), 43-64. Retrieved from http://servicio.bc.uc.edu.ve/multidisciplinarias/estudios_culturales/

Chetty, N. & Alathur, S. (2018). Hate speech review in the context of online social networks. Aggression and violent behavior, 40, 108-118. https://doi.org/10.1016/j.avb.2018.05.003

Council of Europe. (1997). Recommendation No. R (97) 20 of the Committee of Ministers to member states on “hate speech”. Council of Europe, Committee of Ministers. Retrieved from https://search.coe.int/cm/Pages/result_details.aspx?ObjectID=0900001680505d5b

Davidson, T., Warmsley, D., Macy, M., & Weber, I. (2017). Automated hate speech detection and the problem of offensive language. In Proceedings of the International AAAI Conference on Web and Social Media, 11(1). Retrieved from https://ojs.aaai.org/index.php/ICWSM/article/view/14955

ElSherief, M., Kulkarni, V., Nguyen, D., Wang, W. Y., & Belding, E. (2018). Hate lingo: A targetbased linguistic analysis of hate speech in social media. In Proceedings of the International AAAI Conference on Web and Social Media, 12(1). Retrieved from https://ojs.aaai.org/index.php/ICWSM/article/view/15041

European Commission against Racism and Intolerance. (2016). ECRI General Policy Recommendation N.° 15 on Combating Hate Speech. Council of Europe. Retrieved from https://book.coe.int/en/human-rights-and-democracy/7180-pdf-ecri-general-policyrecommendations-no-15-on-combating-hate-speech.html

Ferreira, C. (2019). Vox como representante de la derecha radical en España: un estudio sobre su ideología (Vox as representative of the radical right in Spain: A study of its ideology). Revista Española de Ciencia Política, (51), 73-98. https://doi.org/10.21308/recp.51.03

Jubany, O. & Roiha, M. (2018). Las palabras son armas. Discurso de odio en la red (Words are weapons. Hate speech online). Barcelona, Spain: Edicions Universitat Barcelona.

Gagliardone, I., Gal, D., Alves, T., & Martinez, G. (2015). Countering online hate speech. Paris, France: Unesco Publishing.

García-Ortega, C. & Zugasti-Azagra, R. (2018). Gestión de la campaña de las elecciones generales de 2016 en las cuentas de Twitter de los candidatos: entre la autorreferencialidad y la hibridación mediática (The management of the candidates’ Twitter accounts in the Spanish 2016 general elections: Between self-referentiality and media hybridization). Profesional de la Información, 27(6), 1215-1224. https://doi.org/10.3145/epi.2018.nov.05

Isasi, A. C. & Juanatey, A. G. (2017). El discurso del odio en las redes sociales: Un estado de la cuestión (Hate speech on social media: A state of the art). Barcelona, Spain: Ajuntament de Barcelona Progress Report. Retrieved from https://ajuntament.barcelona.cat/bcnvsodi/wp-content/uploads/2015/03/Informe_discurso-del-odio_ES.pdf

Kalampokis, E., Tambouris, E., & Tarabanis, K. (2013). Understanding the predictive power of social media. Internet Research, 23(5), 544–559. https://doi.org/10.1108/IntR-06-2012-0114

Krippendorff, K. (2010). On communicating: Otherness, meaning, and information. Routledge.

Leader Maynard, J. & Benesch, S. (2016). Dangerous speech and dangerous ideology: An integrated model for monitoring and prevention. Genocide Studies and Prevention, 9(3), 70-95. https://doi.org/10.5038/1911-9933.9.3.1317

López-García., G. (2016). ‘New’ vs ‘old’ leaderships: the campaign of Spanish general elections 2015 on Twitter. Communication & Society, 29(3), 149-168. https://doi.org/10.15581/003.29.3.149-168

López-Meri, A. (2015). Twitter como fuente informativa de sucesos imprevistos: el seguimiento de hashtags en el caso #ArdeValencia (Twitter as an Information Source of Unexpected Events: Following Hashtags in the Case #ArdeValencia). Disertaciones: Anuario electrónico de estudios en Comunicación Social, 8(1), 27-51. https://doi.org/10.12804/disertaciones.01.2015.02

Malmasi, S. & Zampieri, M. (2017). Detecting hate speech in social media. arXiv preprint:1712.06427. Retrieved from https://arxiv.org/abs/1712.06427

Marín Dueñas, P. P. & Díaz Guerra, A. (2016). Uso de Twitter por los partidos y candidatos políticos en las elecciones autonómicas de Madrid 2015 (Use of Twitter by political parties and candidates in the 2015 Madrid regional elections). Ámbitos: Revista Internacional de Comunicación, (32), 1-15. Retrieved from https://revistascientificas.us.es/index.php/Ambitos/article/view/10436

Ministerio del Interior de España (Ed.). (2020). Informe de Evolución de los Delitos de Odio en España (Report on the Evolution of Hate Crimes in Spain). Retrieved from http://www.interior.gob.es/documents/642012/3479677/Informe+sobre+la+evolución+de+delitos+de+odio+en+España%2C%20año+2019/344089ef-15e6-4a7b-8925-f2b64c117a0a

Ministerio de Empleo, Migraciones y Seguridad Social. (2018). Acuerdo de cooperación institucional con el Consejo General del Poder Judicial y la Fiscalía General del Estado, para luchar contra el racismo, la xenofobia, la LGBTIfobia y otras formas de Intolerancia (Institutional cooperation agreement with the General Council of the Judiciary and the State Attorney General's Office, to fight against racism, xenophobia, LGBTIphobia and other forms of Intolerance). Retrieved from http://www.inclusion.gob.es/oberaxe/ficheros/ejes/cooperacion/Acuerdo_insterinsticuional_original.pdf

Miró Llinares, F. (2016). Taxonomía de la comunicación violenta y el discurso del odio en Internet (Taxonomy of violent communication and the discourse of hate on the internet). IDP. Revista de Internet, Derecho y Política, (22), 82-107. Retrieved from https://www.raco.cat/index.php/IDP/article/view/n22-miro/408486

Mondal, M., Silva, L. A., & Benevenuto, F. (2017, July). A measurement study of hate speech in social media. In Proceedings of the 28th ACM conference on hypertext and social media (pp. 85-94). https://doi.org/10.1145/3078714.3078723

Moretón Toquero, M. A. (2012). El «ciberodio», la nueva cara del mensaje de odio: entre la cibercriminalidad y la libertad de expresión (Cyberhate, the new face of the hate message: between cybercrime and freedom of expresión). Revista Jurídica de Castilla y León, 27, 1-18.

Movimiento contra la Intolerancia. (2019). Informe Raxen: Racismo, Xenofobia, Antisemitismo, Islamofobia, Neofascismo y otras manifestaciones de intolerancia a través de los hechos. Especial 2019. Por un Pacto de Estado contra la Xenofobia y la Intolerancia (Raxen Report: Racism, Xenophobia, Anti-Semitism, Islamophobia, Neo-fascism and other manifestations of intolerance through facts. Special 2019. For a State Pact against Xenophobia and Intolerance). Movimiento contra la Intolerancia. Retrieved from https://www.inclusion.gob.es/oberaxe/ficheros/documentos/InformeRaxen.pdf

Müller, K. & Schwarz, C. (2020). Fanning the Flames of Hate: Social Media and Hate Crime. Journal of the European Economic Association, jvaa045. https://doi.org/10.1093/jeea/jvaa045

Newman, N., Fletcher, R., Kalogeropoulos, A., & Nielsen, R. (2019). Reuters Institute Digital News Report 2019. Reuters Institute for the Study of Journalism. Retrieved from https://reutersinstitute.politics.ox.ac.uk/sites/default/files/inline-files/DNR_2019_FINAL.pdf

Organization for Security and Cooperation in Europe. (2020). OSCE - ODIHR. Hate Crime Reporting. Retrieved from https://hatecrime.osce.org/

Pereira Kohatsu, J. C. (2017). Construcción de modelos de clasificación automática para discursos de odio (Building automatic classification models for hate speech) (Master’s thesis). Retrieved from https://repositorio.uam.es/handle/10486/680053

Pereira-Kohatsu, J. C., Quijano-Sánchez, L., Liberatore, F., & Camacho-Collados, M. (2019). Detecting and monitoring hate speech in Twitter. Sensors, 19(21), 4654. https://doi.org/10.3390/s19214654

Rodríguez, R. & Ureña, D. (2011). Diez razones para el uso de Twitter como herramienta en la comunicación política y electoral (Ten reasons to use Twitter as a tool for politicaland electoral communication). Comunicación y pluralismo, (10), 89-116. Retrieved from https://summa.upsa.es/viewer.vm?id=30573&view=main&lang=es

Said-Hung, E. M., Prati, R. C., & Cancino-Borbón, A. (2017). La orientación ideológica de los mensajes publicados en Twitter durante el 24M en España (The Ideological Orientation of Messages Posted on Twitter during the 24M in Spain). Palabra Clave, 20(1), 213-238. https://doi.org/10.5294/pacla.2017.20.1.10

Salminen, J., Hopf, M., Chowdhury, S. A., Jung, S. G., Almerekhi, H., & Jansen, B. J. (2020). Developing an online hate classifier for multiple social media platforms. Human-centric Computing and Information Sciences, 10, 1. https://doi.org/10.1186/s13673-019-0205-6

Tamarit Sumalla, J. M. (2018). Los delitos de odio en las redes sociales (Hate crimes on social networks). IDP: Revista de Internet, Derecho y Política, 27, 17-29. Retrieved from https://www.raco.cat/index.php/IDP/article/view/n27-tamarit

Valdez-Apolo, M. B., Arcila-Calderón, C., & Amores, J. J. (2019). El discurso del odio hacia migrantes y refugiados a través del tono y los marcos de los mensajes en Twitter (Hate speech against migrants and refugees through the tone and frames of Twitter messages). Revista de la Asociación Española de Investigación de la Comunicación, 6(12). https://doi.org/10.24137/raeic.6.12.2

Publicado

2021-04-19

Cómo citar

Amores , J. J., Blanco-Herrero, D., Sánchez-Holgado, P., & Frías-Vázquez, M. (2021). Detectando el odio ideológico en Twitter. Desarrollo y evaluación de un detector de discurso de odio por ideología política en tuits en español. Cuadernos.Info, (49), 98–124. https://doi.org/10.7764/cdi.49.27817