Discord reconoció públicamente que un error en su sistema de moderación automática baneó por accidente a más de 8,200 usuarios desde mayo, luego de que imágenes completamente inofensivas, como tableros de ajedrez, texturas de videojuegos e inventarios de Minecraft, fueran marcadas incorrectamente como contenido dañino.
Cómo funciona el sistema que provocó estos baneos incorrectos
Según explicó la plataforma, su sistema detecta contenido comparándolo contra bases de datos de material dañino conocido mediante coincidencia de similitud, un proceso que puede generar falsos positivos y que normalmente es revisado por el equipo de Confianza y Seguridad antes de tomar cualquier acción contra una cuenta.
El cofundador y director de tecnología de Discord, Stanislav Vishnevskiy, confirmó que un error impidió que las cuentas ya revisadas y liberadas por el equipo humano fueran desbaneadas correctamente, provocando que el bloqueo permaneciera activo incluso después de la revisión manual correspondiente.
Qué medidas tomó la plataforma tras reconocer el problema
La compañía identificó y neutralizó el hash problemático responsable de los falsos positivos, confirmando que las 8,200 cuentas afectadas ya fueron restauradas por completo. Discord también anunció que está trabajando en mejores salvaguardas para evitar que este tipo de situaciones vuelvan a ocurrir de forma silenciosa en el futuro.