Modération & sécurité
Modération par IA
Recours au machine learning pour détecter, filtrer ou classer automatiquement les contenus des internautes selon la toxicité, la pertinence, la langue et les manquements aux règles, généralement combiné à une relecture humaine pour les cas limites.
La modération par IA consiste à faire passer les contenus publiés par les internautes au travers de modèles de machine learning afin de les scorer selon des dimensions telles que la toxicité, les discours de haine, le spam, le hors-sujet ou le respect des règles, avant qu’un modérateur humain ne les voie. Dans une rédaction moderne, elle est associée à une couche de relecture humaine pour les cas où le modèle reste incertain.
Pourquoi les rédactions en ont besoin
Un quotidien régional publiant 30 articles par jour et recevant 25 commentaires par article cumule environ 187 500 commentaires par an. En relire chacun à la main coûte à peu près deux minutes par item, soit 6 250 heures de travail, ou trois à quatre modérateurs à temps plein. À 50 €/heure tout compris, cela représente un quart de million d’euros par an, simplement pour filtrer ce qui n’aurait jamais dû être publié.
La modération par IA inverse l’équation économique : le modèle traite les 85 % de commentaires manifestement acceptables ou manifestement à exclure, et l’équipe ne relit que les 15 % litigieux. Chez Der Spiegel, cela a fait passer la modération d’un poids opérationnel majeur à une tâche éditoriale de routine.
Ce que fait une bonne modération par IA
Un moteur de modération de niveau production pour les commentaires de presse devrait :
- Détecter la toxicité, les discours de haine, les menaces et le spam dans les langues utilisées par votre audience.
- Détecter la pertinence par rapport à l’article (hors-sujet, contenu promotionnel ou automatisé).
- Fournir un score de confiance, et non une décision binaire, afin que le relecteur humain puisse prioriser les 15 % qui requièrent son attention.
- Être entraîné sur des contenus de presse, et non sur des données génériques de réseaux sociaux : le ton et les cas limites des commentaires sous un article d’actualité diffèrent de ceux d’un fil Reddit.
- Journaliser chaque décision avec horodatage, version du modèle, score et règle appliquée, pour les rapports de transparence DSA.
La règle des 85 % + 15 %
Dans les rédactions européennes qui utilisent Logora, le moteur de modération traite automatiquement environ 85 % des commentaires entrants (approuvés ou rejetés sans intervention humaine). Les 15 % restants arrivent dans la file de modération, où le rôle de l’équipe est d’arbitrer l’ambiguïté, et non de se noyer sous le volume.
Le modèle n’a jamais le dernier mot sur les contenus limites. Tout bloquer automatiquement réduirait les coûts de modération mais briserait la confiance éditoriale. La relecture humaine de ces 15 % est précisément ce qui rend le système sûr à exploiter.
Implications au regard du DSA
L’article 14 du DSA impose que toute décision automatisée portant sur un contenu d’internaute s’accompagne d’un exposé des motifs. L’utilisateur doit comprendre ce qui a été signalé, en vertu de quelle règle, et comment faire appel.
Le pipeline de modération de Logora est conçu autour de cette exigence : chaque décision automatisée est journalisée avec la version du modèle, le score, la règle et le texte de motif présenté à l’utilisateur. Le rapport annuel de transparence DSA assemble ces données automatiquement.
Concepts liés
- Modération de contenu, la pratique au sens large
- Détection de toxicité, l’un des signaux du modèle
- Modération multilingue, à travers les langues
- Article 14 du DSA, l’exposé des motifs pour les décisions automatisées
Voir Logora vs Netino pour comparer la modération par IA à un service de modération purement BPO.