Artykuł z arXiv CS.LG kwestionuje popularny pogląd, że ground truth - dane referencyjne stanowiące fundament trenowania modeli ML - to obiektywne rzeczywistości. Badacze dowodzą, że tego typu zestawy danych są w istocie konstruowane poprzez decyzje ludzi i wybory technologiczne, a nie naturalne dane factyczne.
Autorzy wskazują na problem niewidoczności tych procesów decyzyjnych. W praktyce zespoły zajmujące się labelowaniem danych dokonują konkretnych wyborów - jak definiować kategorie, co uwzględnić, jakie ambiguity rozstrzygnąć - ale te decyzje rzadko są raportowane lub dyskutowane. Rezultatem jest złudżenie, że dane treningowe oddają obiektywną rzeczywistość, podczas gdy są wynikiem kontekstowych, czę ścianowych ustaleń.
Zdaniem badaczy zmienianie tego stanu może znacznie poprawić niezawodność i przejrzystość modeli ML. Zamiast traktować ground truth jako niezmienne standardy, wspólnota powinna rozwijać tzw. situated reliability - jasne określanie, w jakich warunkach i kontekstach model działa dobrze, jakie ma ograniczenia i jakie roszczenia może uzasadniać. Takie podejście mogłoby wzmocnić odpowiedzialność, przejrzystość i umożliwić lepszą współpracę między dyscyplinami.