Naukowcy badali fundamentalny problem w ewaluacji modeli click-through rate: standardowe metody uczenia maszynowego polegają na losowych podziałach danych, ale zaraz deployowane modele napotykają dane z przyszłości i muszą generować dobrze skalibrowane prawdopodobieństwa dla systemów poniżej w pipeline'u. Na dużym zbiorze Avazu zawierającym 40,4 miliona impressionów trenowali trzy różne modele (logistic regression, DeepFM, DCN-v2) i testowali, jak dobrze działają one przy ewaluacji z losowym podziałem versus chronologicznym.
Kluczowe odkrycie dotyczy momentu, kiedy należy rekalibrować modele przy użyciu Platt scaling czy isotonic regression. 6-godzinne okno danych do fit'owania parametrów kalibracji usuwało do 61 procent błędów w źle skalibrowanych przypadkach, ale jednocześnie zwiększało błędy w około jednej trzeciej zastosowań. Z kolei 12-godzinne okno zmniejszało te negatywne efekty z 13-17 do zaledwie 3-5 problemów na 36 testów, co sugerowało istnienie optymalnej szerokości czasowego okna. Ciekawostka: subsampling 12-godzinnego okna do rozmiaru 1-godzinnego (zaledwie 5 procent impressionów, 20-25x szybsze obliczenia) odzyskiwał 88 procent zysku pełnego okna - liczba impressionów sama w sobie nie wyjaśniała fenomenu.
Badanie wskazuje na poważny problem w praktykach ewaluacji: raportowanie tylko ECE na losowych podziałach ukrywało, jak źle modele funkcjonują w rzeczywistych warunkach. Dodatkowo kalibracja stosowana na stałych zestawach ewaluacyjnych może być bezużyteczna - badanie symulacyjne pokazało, że przychody w aukcjach reklamowych zmieniały się zaledwie o -0,21 do +0,26 procent. Autorzy zalecają, by przyszłe protokoły ewaluacji mierzyły kalibrację wprost czasowo i na wielu chronologicznych punktach startowych.