Moderación y seguridad
Moderación human-in-the-loop
Modelo de moderación en el que la IA procesa el volumen y decide por sí sola los casos claros, mientras un moderador humano arbitra los casos ambiguos que la máquina no puede juzgar con certeza.
La moderación human-in-the-loop es un modelo híbrido en el que la IA procesa todo el volumen de contribuciones y decide por sí sola los casos claros, mientras un moderador humano arbitra únicamente los casos ambiguos. La máquina hace la lectura ; la persona hace el juicio allí donde el juicio es realmente necesario.
Por qué ninguna de las dos funciona sola
Este diseño existe porque los dos enfoques puros fallan, pero en sentidos opuestos.
- La IA por sí sola se equivoca con el contexto. Un modelo puntúa el texto, no la intención. La ironía, los insultos citados, la reapropiación dentro de un grupo, la jerga regional y las respuestas que solo tienen sentido frente al comentario al que responden la hacen tropezar. Sin supervisión, bloquea en exceso discurso legítimo y deja pasar abusos que dependen del contexto.
- El humano por sí solo no escala. Una sección de comentarios activa produce muchas más contribuciones de las que un equipo puede leer en tiempo real. La moderación 100 % manual significa o bien largas demoras, o bien reglas aplicadas de forma desigual a medida que los moderadores se cansan.
El human-in-the-loop conserva las fortalezas de ambos : el caudal de la automatización, el discernimiento de una persona, con la atención humana invertida solo allí donde cambia el resultado.
Cómo funciona en Logora
Logora aplica este modelo por defecto :
- La IA gestiona alrededor del 85 % on-site. Las contribuciones limpias se aprueban automáticamente y las claramente abusivas se bloquean automáticamente, de modo que el equipo editorial nunca ve el grueso del tráfico.
- El equipo solo revisa el ~15 % por juzgar. Los casos inciertos llegan a una cola humana dedicada, cada uno presentado con su puntuación de toxicidad y el contexto circundante que el moderador necesita para decidir.
- QA en el lanzamiento. Durante los tres primeros meses, las decisiones se revisan para calibrar los umbrales según las reglas y el tono propios de la publicación.
Conceptos relacionados
- Moderación con IA, la capa automatizada
- Moderación de contenido, la práctica más amplia
- Cola de moderación, donde ocurre el trabajo humano
- Detección de toxicidad