Czego model toksyczności naprawdę uczy się wykrywać
Większość modeli toksyczności na rynku, w tym te wbudowane w generyczne widgety komentarzy, wytrenowano na mediach społecznościowych: odpowiedziach, postach, wątkach forum. Ich dane treningowe skłaniają się w stronę wyzwisk, nękania, groźb i osobistych atak między nieznajomymi. To wzorzec, który uczą się rozpoznawać, i na tym wzorcu radzą sobie dobrze.
Przestrzeń komentarzy lub debaty redakcji to inny rodzaj tekstu. Czytelnicy nie rozmawiają z nieznajomymi. Reagują na artykuł, często komentarz opiniotwórczy, z mocnymi poglądami na politykę, osobę publiczną albo decyzję redakcyjną samej redakcji. Słownictwo jest z założenia bojowe: nieodpowiedzialny, nieuczciwy, niedopuszczalny. Nic z tego nie jest nękaniem. Wszystko to może potknąć model wytrenowany do wiązania mocnego języka z przemocą.
Gdzie dziennikarstwo opinii rozbija model
Generyczny klasyfikator ocenia tekst na podstawie sygnałów powierzchniowych: agresywnych słów, wielkich liter, wykrzykników, polaryzacji sentymentu. Wątek komentarzy nasycony opinią jest pełen właśnie tych sygnałów, powiązanych z uzasadnionym argumentem, a nie z przemocą. Detekcja toksyczności zbudowana bez treści prasowych w danych treningowych nie ma sposobu odróżnienia obu, bo nigdy nie pokazano jej tej różnicy.
Wynikiem jest system moderacji skalibrowany na złym rozkładzie danych. Robi dokładnie to, z czego znane są generyczne filtry w redakcjach: nadmiernie oznacza ostry, dobrze argumentowany brak zgody, a przepuszcza spokojne, dobrze napisane fałszywe twierdzenie, które w ogóle nie wygląda jak tekst "toksyczny", ale robi największą szkodę debacie.
Dwa typy błędu, i czemu oba są kosztowne
Fałszywy alarm w przestrzeni komentarzy redakcji usuwa uzasadniony argument czytelnika, dokładnie taki wkład, dla którego przestrzeń debaty istnieje. Wystarczająco dużo takich błędów, i zostają tylko najbezpieczniejsze, najbardziej zgodne opinie, czyli coś odwrotnego do tego, co powinna dawać zdrowa ustrukturyzowana debata.
Przeoczenie jest gorsze. Spokojnie sformułowana nieprawda, albo skoordynowany argument w złej wierze, może siedzieć w wątku godzinami, brzmieć rozsądnie i kształtować to, w co wierzą inni czytelnicy, podczas gdy model, który wyłapałby wyzwisko, milczy. Żaden z tych dwóch błędów nie jest rzadki przy generycznym modelu na treści prasowej. Oba mają tę samą przyczynę: model wytrenowano na złym rodzaju tekstu.
Jeśli wciąż porównujesz generycznych dostawców
Nie każdy zespół jest gotowy przejść na model skalibrowany dla prasy od pierwszego dnia. Niektóre wciąż testują generycznych dostawców, OpenAI, Azure, API Perspective od Google, Hive, na własnym wolumenie komentarzy, przed podjęciem decyzji. Na tym etapie Logora zbudowała i udostępniła jako open source OpenModeration: zunifikowane API, które łączy się z ponad dziesięcioma dostawcami moderacji przez jedną integrację i jeden panel, hostowane w UE albo wdrażane samodzielnie. Samo nie eliminuje opisanej wyżej ślepej plamki na treści prasowej, to problem danych treningowych, nie integracji, ale znacznie przyspiesza to porównanie dostawców.
Co się zmienia z moderacją skalibrowaną dla prasy
Rozwiązaniem nie jest ostrzejszy próg na tym samym modelu. To trening na rodzaju tekstu, który redakcja faktycznie otrzymuje: argumentacyjnym, nasyconym opinią, publikowanym w wątku komentarzy, a nie w mediach społecznościowych. Moderacja AI Logory jest trenowana specjalnie na debacie prasowej i filtruje około 85% toksycznych treści, zanim trafią do ludzkiego moderatora, na modelu zbudowanym z około 45 000 przykładów oznaczonych przez ludzi, na ponad 50 milionach wkładów czytelników moderowanych od 2019 roku.
Mierzalny efekt to nie mniej komentarzy, to lepsze komentarze. W Milenio udział wkładów zatwierdzonych do publikacji wzrósł z około 60% przed Logorą do 80-85% po: model skalibrowany dla prasy przepuszcza więcej uzasadnionego argumentu, wciąż wykrywając to, co generyczny model by przeoczył.
Czemu DSA robi z tego pytanie o zgodność, nie tylko o jakość
W ramach aktu o usługach cyfrowych każde usunięcie w ramach moderacji wymaga uzasadnienia, a model, który nadmiernie oznacza uzasadnioną opinię, generuje dużo więcej takich decyzji do uzasadnienia. Model skalibrowany dla prasy, który trafnie ocenia od razu, jest nie tylko lepszy dla czytelnika, to też mniej spornych usunięć, które zespół moderacji musi dokumentować i bronić. Publiczna karta moderacji, która jasno określa standard, czyni to samo rozróżnienie wyraźnym dla czytelników przed opublikowaniem.
Wnioski: dopasować model do tekstu
Model toksyczności jest tylko tak dobry, jak dane, na których go wytrenowano. Model wytrenowany na nękaniu z mediów społecznościowych błędnie odczyta strony opinii redakcji, w obie strony, niezależnie od tego, jak dostrojony jest próg. Rozwiązaniem jest moderacja trenowana na debacie prasowej od samego początku. Aby zobaczyć, jak to zmienia ten kompromis, zacznij od modułu moderacji AI albo porównania systemów komentarzy.