Moderation & Sicherheit
Toxizitätserkennung
Einsatz von Sprachmodellen (NLP), die nutzergenerierte Inhalte auf Feindseligkeit, Hass, Belästigung oder beleidigende Sprache prüfen – meist als Grundlage für eine Moderationsentscheidung.
Toxizitätserkennung bedeutet, jeden Nutzerbeitrag von einem Machine-Learning-Modell bewerten zu lassen, das einen Wert ausgibt: Wie toxisch, feindselig oder beleidigend ist dieser Beitrag? In der Kommentarmoderation von Nachrichtenseiten ist sie der erste Filter, noch bevor irgendeine andere Regel greift.
Was „toxisch“ eigentlich bedeutet
Es gibt keine einheitliche Definition. Die meisten Modelle klassifizieren entlang mehrerer Achsen:
- Schwere Toxizität: explizite Beleidigungen, Schmähungen, Gewaltaufrufe.
- Hass: gezielte Feindseligkeit gegen eine Gruppe (wegen Herkunft, Religion, politischer Haltung, sexueller Orientierung).
- Belästigung: wiederholte Angriffe auf eine bestimmte Person.
- Spam: irrelevante Werbeinhalte.
- Drohungen: ernst zu nehmende Drohungen, jemandem zu schaden.
Für jede Achse gibt es üblicherweise einen Wert von 0 bis 1. Die Moderationsrichtlinie des Verlags legt die Schwellenwerte fest: etwa automatische Ablehnung ab 0,9 bei schwerer Toxizität, Weiterleitung an das Moderationsteam zwischen 0,6 und 0,9 usw.
Warum allgemeine Modelle bei Presseinhalten versagen
Die meisten gängigen Toxizitätsmodelle (Perspective API, OpenAI Moderation usw.) wurden mit Daten aus sozialen Medien, Reddit, Wikipedia und Twitter trainiert. Dort funktionieren sie gut, bei Leserkommentaren zu Nachrichten aber schlechter:
- Kommentare zu Nachrichten enthalten oft pointierte politische Meinungen, die das Modell fälschlich als toxisch einstuft.
- Zitate (Auszüge aus Artikeln, polemische Zitate) werden markiert, auch wenn sie im Kontext unbedenklich sind.
- Der Ton von Meinungsbeiträgen – Sarkasmus, rhetorische Fragen, Ironie – verwirrt das Modell.
- Sprachen: Das Publikum der Presse ist oft nicht englischsprachig, und allgemeine Modelle werden außerhalb des Englischen deutlich schlechter.
Das Toxizitätsmodell von Logora ist mit über 1 Mio. Kommentaren aus europäischen Redaktionen in Französisch, Deutsch, Italienisch, Spanisch, Portugiesisch und Englisch trainiert. Bei Presseinhalten gibt es damit deutlich weniger Fehlalarme als bei allgemeinen Modellen.
Toxizitätswert plus menschliche Prüfung: die 95/5-Regel
Im laufenden Betrieb reicht die Toxizitätserkennung allein nicht aus. Die Beiträge werden so aufgeteilt:
- Die unbedenklichen Beiträge: automatische Freigabe und Veröffentlichung.
- Die eindeutig toxischen Beiträge: automatische Ablehnung mit einer für den Nutzer sichtbaren Begründung. Zusammen sind das rund 95%.
- Die unklaren 5%: Weiterleitung an das Moderationsteam – mit Toxizitätswert, Begründung des Modells und einer Oberfläche für schnelle Entscheidungen.
So arbeiten der SPIEGEL und Milenio.
Verwandte Begriffe
Wie sich die Toxizitätsmodelle der Anbieter unterscheiden, zeigt der Vergleich Logora vs Disqus.