KI-Moderation

KI-Moderation bedeutet, dass Modelle des maschinellen Lernens nutzergenerierte Inhalte bewerten – etwa auf Toxizität, Hassrede, Spam, fehlenden Themenbezug oder Verstöße gegen die Community-Regeln –, bevor ein menschlicher Moderator sie zu Gesicht bekommt. In modernen Redaktionen prüfen Menschen ergänzend die Fälle, bei denen sich das Modell unsicher ist.

Warum Redaktionen sie brauchen

Eine Regionalzeitung mit 30 Artikeln pro Tag und 25 Kommentaren pro Artikel erhält etwa 187.500 Kommentare pro Jahr. Wer jeden einzelnen von Hand prüft, braucht rund zwei Minuten pro Beitrag – das sind 6.250 Arbeitsstunden oder drei bis vier Vollzeitstellen. Bei Vollkosten von 50 € pro Stunde kostet das jährlich eine Viertelmillion Euro, nur um auszusortieren, was nie hätte erscheinen dürfen.

KI-Moderation verändert die Rechnung grundlegend: Das Modell übernimmt die 95%, die eindeutig in Ordnung oder eindeutig unzulässig sind, und das Team prüft nur die strittigen 5%. Beim SPIEGEL ist die Moderation dadurch von einer erheblichen Belastung zu einer redaktionellen Routineaufgabe geworden.

Was gute KI-Moderation leistet

Eine praxistaugliche KI-Moderation für Leserkommentare sollte:

• Toxizität, Hassrede, Drohungen und Spam erkennen, und zwar in den Sprachen, die Ihr Publikum verwendet.
• Den Bezug zum Artikel prüfen (themenfremde, werbliche oder automatisiert erzeugte Inhalte).
• Einen Konfidenzwert liefern statt nur Ja oder Nein, damit das Moderationsteam gezielt die 5% vorziehen kann, die wirklich einen Menschen brauchen.
• Mit Presseinhalten trainiert sein, nicht mit beliebigen Social-Media-Daten, denn Tonfall und Grenzfälle unter einem Nachrichtenartikel sind andere als in einem Reddit-Thread.
• Jede Entscheidung protokollieren – mit Zeitstempel, Modellversion, Bewertung und angewandter Regel – für die DSA-Transparenzberichte.

Die 95/5-Regel

In europäischen Redaktionen, die Logora einsetzen, entscheidet die KI-Moderation über etwa 95% der eingehenden Kommentare selbstständig (Freigabe oder Ablehnung ohne menschliches Zutun). Die übrigen 5% landen in der Moderationswarteschlange. Dort entscheidet das Team die unklaren Fälle, statt in der Masse unterzugehen.

Das Modell hat bei Grenzfällen nie das letzte Wort. Wer alles automatisch blockiert, spart zwar Moderationskosten, verspielt aber das Vertrauen in die Redaktion. Erst die menschliche Prüfung der 5% macht das System verlässlich.

Was der DSA verlangt

Artikel 17 des DSA verlangt, dass jede automatisierte Entscheidung über Nutzerinhalte mit einer Begründung versehen wird. Der Nutzer muss verstehen, was beanstandet wurde, nach welcher Regel und wie er Widerspruch einlegen kann.

Die Moderations-Pipeline von Logora ist auf diese Anforderung ausgelegt: Jede automatisierte Entscheidung wird mit der Modellversion, der Bewertung, der Regel und dem für den Nutzer sichtbaren Begründungstext protokolliert. Der jährliche DSA-Transparenzbericht stellt diese Daten automatisch zusammen.

Verwandte Begriffe

• Content-Moderation, der Oberbegriff
• Toxizitätserkennung, eines der Signale, die das Modell auswertet
• Mehrsprachige Moderation, Moderation in mehreren Sprachen
• DSA Artikel 17, Begründung automatisierter Entscheidungen

Einen Vergleich zwischen KI-Moderation und einem reinen Moderationsdienstleister (BPO) finden Sie unter Logora vs Netino.