Naukowcy z arXiv opublikowali AdaStop, nowy framework rozwiązujący problem kiedy zatrzymać testowanie głębokich sieci neuronowych. Dotychczasowe metody wyboru testów skupiały się na znalezieniu danych wejściowych, które ujawniają błędy modelu, ale przy z góry ustalonym budżecie etykietowania. Problem w tym, że ustalenie właściwego budżetu jest trudne - za mało testowania powoduje przegapienie wad, a zbyt dużo zwiększa niepotrzebne koszty.
AdaStop formułuje testowanie jako proces decyzyjny koszty-korzyści. Etykietowanie jednego wejścia kosztuje c, a odkrycie błędu daje wartość v. Framework monitoruje marginalną szybkość odkrywania błędów podczas testowania i automatycznie zatrzymuje się, gdy ta szybkość spadnie poniżej progu tau równego c/v. To sprytny sposób na dynamiczne dostosowanie się do rzeczywistych potrzeb projektu.
Wyniki eksperymentów przeprowadzonych na wielu zbiorach danych, architekturach i strategiach wyboru testów są imponujące: metoda odkryła 65-84 procent błędów przy użyciu jedynie 9-31 procent budżetu etykietowania. To oznacza ogromne oszczędności przy zachowaniu efektywności testowania. Framework ma praktyczne znaczenie dla zespołów ML, które muszą optymalizować koszty walidacji bez obniżania jakości testowania modeli.