Uncertainty sampling to strategia active learning, która wybiera do etykietowania przykłady, w których model ma najmniejszą pewność - założeniem jest, że etykiety takich trudnych przypadków będą najbardziej informacyjne dla trenowania. Problem polega na tym, że właśnie te trudne przykłady są też najczęściej błędnie etykietowane przez anotatorów, co może zmniejszać wartość tej strategii.
Badaczom zależy rozstrzygnąć kluczową kwestię: czy uncertainty sampling zawodzi, bo zbiera więcej zepsuty etykiet w ogóle, czy dlatego że błędy skupiają się w trudnych, szczególnie ważnych dla modelowania regionach danych? Aby to zbadać, przeprowadzili solidny eksperyment na trzech zbiorach danych tabelarycznych (Breast Cancer Wisconsin, Banknote Authentication, MAGIC Gamma Telescope) z 100 sparowanymi losowymi ziarnami, testując stawki szumu od 0 do 30 procent i różne budżety etykietowania. Porównywali uncertainty sampling z losowym wyborem próbek zarówno przy czystych etykietach, jak i przy losowym szumie klasyfikacyjnym oraz szumie zależnym od trudności.
Wyniki pokazują znaczną złożoność - na czystych danych uncertainty sampling poprawiał genormalizowaną balanced-accuracy o 1,09 do 1,77 punktu procentowego na wszystkich zbiorach. Jednak gdy pojawił się szum zależny od trudności danych, przewaga uncertainty sampling zanikała nierówno: na zbiorze Breast Cancer Wisconsin przewaga zmniejszyła się bardziej niż w przypadku losowego szumu, ale na pozostałych zbiorach nie obserwowano takiej prawidłowości. Po kalibracji statystycznej uwzględniającej rzeczywistą ekspozycję na błędy badacze nie znaleźli uniwersalnego dodatkowego kosztu strukturalnego rozmieszczenia błędów, co sugeruje, że problem jest bardziej złożony niż dotychczasowe założenia.