Naukowcy opracowali LWCal, nową technikę post-hoc kalibracji prawdopodobieństwa dla klasyfikatorów pracujących na danych tabelarycznych, która radzi sobie ze złośliwym problemem - szumem w etykietach służących do samej kalibracji. Standardowe podejścia zakładają, że zbiór walidacyjny używany do kalibracji ma czyste etykiety, ale w rzeczywistym deploymencie AI etykiety przychodzą z różnych niedoskonałych źródeł: słabych adnotatorów, historycznych decyzji systemów, heurystyk lub distant supervision.
Metoda LWCal działa na prostej zasadzie - zmniejsza znaczenie (ważenie) przykładów kalibracyjnych, których szumne etykiety są sprzeczne z przewidywaniami modelu. Kluczową zaletą jest brak wymagań: nie potrzeba czystych danych walidacyjnych, nie trzeba szacować wskaźnika szumu, a sama kalibracja nie wymaga ponownego trenowania klasyfikatora. Wersja Gated-LWCal dodaje ostrożny mechanizm wycofywania się - jeśli zbiór kalibracyjny wydaje się bardzo niespójny, metoda cofa się ku surowym predykcjom modelu.
W eksperymentach na dziewięciu binarnych zadaniach tabelarycznych z użyciem lasów losowych Gated-LWCal zmniejszyła błąd kalibracji (ECE) z 0,188 do 0,122 oraz ujemną log-wiarygodność (NLL) z 0,438 do 0,396 w porównaniu z surowym klasyfikatorem. Testy bootstrapowe wykazały statystycznie istotne ulepszenia względem metod tradycyjnych: Platt, isotonic i beta calibration na metrykach ECE, Brier score i NLL.