Discord przyznał się do poważnego błędu w systemie moderacji AI, który od maja bezpodstawnie banował użytkowników za nadesłane obrazy absolutnie nieszkodliwe. Zanim zespół platformy zidentyfikował i naprawił problem, w weekend przed ujawnieniem aresztów dotkniętych zostało dodatkowo około 200 kont.
Usterka w moderacji opartej na sztucznej inteligencji stanowi klasyczny przykład limitacji automatycznych systemów antynaduż. Algorytmy wytrenowane do wykrywania zawartości zakazanej nierzadko mylą się na etapie klasyfikacji, szczególnie jeśli treści znajdują się na granicy konwencji lub używają symboli, które mogą być interpretowane wieloznacznie. W przypadku Discorda błąd doprowadził do masowych banów użytkowników, którzy nie naruszyli żadnych regulacji.
Incydent podkreśla znaczenie wariantów w moderacji - zarówno ludzkiej, jak i algorytmicznej. Platformy społecznościowe polegające wyłącznie na AI narażają się na takie wpadki, które mogą podważić zaufanie użytkowników do systemu i doprowadzić do niezasłużonych kar. Discord musi teraz nie tylko przywrócić zbanowane konta, lecz także przebudować mechanizm moderacji, aby zapobiec podobnym błędom w przyszłości.