Recientemente se descubrió que su algoritmo de moderación silencia tanto el discurso de odio como el testimonio de quienes lo sufren. No es el primer incidente de este tipo en la red social, ni será el último, dado que no explica cómo funciona, ni cuenta con un equipo inclusivo capaz de anticipar estos problemas.
Abby Ohlheiser
El creador de contenido Ziggi Tyler forma parte de la plataforma privada Creator Marketplace de TikTok, donde las marcas pueden conectarse con los principales creadores de la app. Hace un par de semanas, Tyler notó algo bastante inquietante sobre cómo las biografías de los creadores estaban siendo moderadas automáticamente.
Cuando intentó introducir ciertas frases en la suya, como Black Lives Matter («Las Vidas Negras Importan»), «Apoyar a los negros», «Apoyar las voces negras» y «Apoyar el éxito de los negros», fueron marcadas como contenido inapropiado. Pero las versiones con la palabra blanco en vez de negro de las mismas frases sí eran aceptadas.
En un vídeo de TikTok, el creador explicó: «Si entro en Creator Marketplace y pongo ‘apoyo a la supremacía blanca’ y presiono aceptar, todo está bien«. En la imagen se mostró una captura de vídeo de él haciendo exactamente eso en su teléfono. Para aparecer en el mercado, Tyler tuvo que borrar lo que había escrito.
En un vídeo de seguimiento, Tyler mostró cómo las frases «Soy un neonazi» y «Soy un antisemita» habían sido aceptadas, mientras que «Soy un hombre negro» aparecía marcado. Su vídeo tuvo mucho éxito, en parte gracias a una audiencia que ya estaba frustrada por cómo se trata a los creadores negros en TikTok.
En un comentario para Insider, el portavoz de la empresa se disculpó por el «significativo» error y dijo que lo que Tyler veía era el resultado de un filtro automático configurado para bloquear las palabras asociadas con el discurso del odio. El sistema estaba «configurado erróneamente para marcar frases sin respetar el orden de las palabras». La empresa admitió que este error en particular provino de la inclusión de las palabras «Negro» y «audiencia», porque su detección de discurso de odio encontró la palabra «morir» en «audiencia» y marcó esa pareja de palabras como inapropiada.
