Was ein Toxizitätsmodell wirklich erkennen lernt
Die meisten Toxizitätsmodelle auf dem Markt, auch die in Standard-Kommentar-Widgets, wurden mit Daten aus sozialen Netzwerken trainiert: Antworten, Posts, Forenthreads. Ihre Trainingsdaten drehen sich um Beleidigungen, Belästigung, Drohungen und persönliche Angriffe unter Fremden. Genau dieses Muster lernen sie zu erkennen – und darin sind sie gut.
Im Kommentar- oder Debattenbereich einer Redaktion entstehen ganz andere Texte. Die Leser schreiben nicht Fremde an, sondern reagieren auf einen Artikel, oft einen Meinungsbeitrag, und beziehen klar Stellung zu einer politischen Maßnahme, einer Person des öffentlichen Lebens oder einer Entscheidung der Redaktion selbst. Die Wortwahl ist bewusst angriffslustig: rücksichtslos, unehrlich, unhaltbar. Nichts davon ist Belästigung. Doch ein Modell, das deutliche Worte mit Beleidigungen gleichsetzt, kommt damit ins Straucheln.
Warum Meinungsbeiträge das Modell aus der Bahn werfen
Ein Standardmodell bewertet Texte nach oberflächlichen Merkmalen: aggressive Wörter, Großbuchstaben, Ausrufezeichen, positive oder negative Tonlage. Ein meinungsstarker Kommentarthread steckt voller solcher Merkmale – allerdings im Dienst legitimer Argumente, nicht von Beleidigungen. Eine Toxizitätserkennung, in deren Trainingsdaten keine Presseinhalte vorkamen, kann beides nicht unterscheiden, weil ihr der Unterschied nie gezeigt wurde.
Das Ergebnis ist ein Moderationssystem, das auf die falschen Texte eingestellt ist. Es tut genau das, wofür Standardfilter in Redaktionen bekannt sind: Scharfen, gut begründeten Widerspruch stuft es zu oft als problematisch ein, und die sachliche, gut formulierte Falschbehauptung, die gar nicht „toxisch" wirkt, aber einer Debatte am meisten schadet, übersieht es.
Zwei Arten von Fehlern – und warum beide teuer sind
Ein falsch-positives Ergebnis entfernt im Kommentarbereich einer Redaktion das legitime Argument eines Lesers – genau die Art Beitrag, für die es einen Debattenbereich gibt. Häufen sich solche Fehler, bleiben nur die unverfänglichsten, mehrheitsfähigsten Meinungen übrig: das Gegenteil dessen, was eine gute strukturierte Debatte leisten soll.
Ein falsch-negatives Ergebnis ist noch schlimmer. Eine sachlich formulierte Falschbehauptung oder eine gezielt verzerrende Darstellung kann stundenlang in einem Thread stehen, vernünftig klingen und beeinflussen, was andere Leser glauben – während das Modell, das jede Beleidigung erkannt hätte, nicht anschlägt. Bei Standardmodellen sind beide Fehler in Presseinhalten keine Seltenheit. Und beide haben dieselbe Ursache: Das Modell wurde mit den falschen Texten trainiert.
Wenn Sie noch Standardanbieter vergleichen
Nicht jedes Team will sofort auf ein Modell umsteigen, das mit Presseinhalten trainiert wurde. Manche testen zunächst Standardanbieter wie OpenAI, Azure, Googles Perspective API oder Hive mit ihren eigenen Kommentaren, bevor sie sich entscheiden. Für diese Phase hat Logora außerdem OpenModeration entwickelt und als Open Source veröffentlicht: eine einheitliche API, die über eine einzige Anbindung und ein einziges Dashboard Zugang zu mehr als zehn Moderationsanbietern bietet – in der EU gehostet oder selbst betrieben. Den oben beschriebenen blinden Fleck bei Presseinhalten beseitigt sie allein nicht, denn das ist ein Problem der Trainingsdaten, nicht der Anbindung. Aber sie macht den Vergleich der Anbieter deutlich schneller.
Was sich ändert, wenn die Moderation mit Presseinhalten trainiert wurde
Die Lösung ist kein strengerer Schwellenwert für dasselbe Modell, sondern ein Training mit den Texten, die eine Redaktion tatsächlich erhält: argumentativ, meinungsstark, geschrieben in einem Kommentarthread statt in einem Social-Media-Feed. Die KI-Moderation von Logora wurde gezielt mit Debatten auf Nachrichtenseiten trainiert und filtert rund 95% der toxischen Inhalte heraus, bevor sie bei einem menschlichen Moderator landen. Grundlage ist ein Modell, das mit rund 45.000 von Menschen bewerteten Beispielen trainiert wurde und seit 2019 mehr als 50 Millionen Leserbeiträge moderiert hat.
Messbar ist nicht, dass es weniger Kommentare gibt, sondern dass sie besser werden. Bei Milenio stieg der Anteil freigegebener Beiträge von etwa 60% vor Logora auf 80–85% danach: Ein mit Presseinhalten trainiertes Modell lässt mehr legitime Argumente durch und erkennt trotzdem, was ein Standardmodell übersehen hätte.
Warum das durch den DSA auch eine rechtliche Frage ist, nicht nur eine Qualitätsfrage
Nach dem Digital Services Act muss jede Löschung begründet werden. Ein Modell, das legitime Meinungen zu oft beanstandet, produziert entsprechend viele Entscheidungen, die gerechtfertigt werden müssen. Ein mit Presseinhalten trainiertes Modell, das gleich beim ersten Mal richtig entscheidet, ist nicht nur besser für die Leser: Es gibt auch weniger strittige Löschungen, die das Moderationsteam dokumentieren und vertreten muss. Eine öffentliche Moderationsrichtlinie, die den Maßstab klar benennt, macht diese Unterscheidung auch für die Leser deutlich, bevor sie schreiben.
Fazit: Das Modell muss zu den Texten passen
Ein Toxizitätsmodell ist nur so gut wie die Daten, mit denen es trainiert wurde. Ein Modell, das Belästigung in sozialen Netzwerken erkennen soll, liegt bei den Meinungsbeiträgen einer Redaktion in beide Richtungen daneben – ganz gleich, wie man den Schwellenwert einstellt. Die Lösung ist eine Moderation, die von Anfang an mit Debatten auf Nachrichtenseiten trainiert wurde. Was das in der Praxis ändert, zeigen das KI-Moderationsmodul und der Vergleich der Kommentarsysteme.