Zespół badaczy przeanalizował, gdzie powinny być umieszczane filtry moderacyjne w systemach AI oraz co robić po ich zadziałaniu - blokować treść czy ją przepisywać. Problem polega na tym, że filtry zwykle ocenia się w izolacji, ale w praktyce trzeba wybrać konkretną strategię, która wpłynie na całe doświadczenie użytkownika.
Badacze porównali trzy podejścia: filtrowanie tylko danych wejściowych, tylko odpowiedzi oraz obu razem. Zamiast tradycyjnej metryki dokładności, użyli dwóch wskaźników biznesowych - użyteczności (procent rozmów ze pokazaną, nieszko-dliwą i istotną odpowiedzią) i szkodliwego narażenia (procent odpowiedzi niebezpiecznych). Testy przeprowadzili na ręcznie oznaczonych zbiorach i publicznie dostępnym benchmarku ToxicChat. Wyniki pokazały, że filtrowanie odpowiedzi osiąga najlepszą użyteczność, podczas gdy kombinacja filtrowania danych wejściowych i odpowiedzi zmniejsza narażenie na treści szkodliwe.
Kluczową innowacją było zastąpienie czystego blokowania automatycznym przepisywaniem odpowiedzi - pozwoliło to odzyskać większość zablokowanych pytań przy utrzymaniu poziomu bezpieczeństwa. Badacze pokazali także, że tzw. probe routing - uproszczony routing treści - działa porównywalnie do routingu opartego na modelach językowych, ale znacznie szybciej. Wyniki sugerują, że nie ma uniwersalnego rozwiązania - każda organizacja powinna testować konfiguracje moderacji na rzeczywistych metrykach biznesowych zamiast tylko na dokładności filtrów.