Zespół badawczy przeanalizował modele CLIP firmy OpenAI i OpenCLIP, testując ich oceny 1500 dzieł sztuki z otwartej kolekcji Metropolitan Museum of Art, w celu oddzielenia uprzedzeń algorytmicznych od błędów zawartych w metadanych archiwalnych. Spośród zbadanych dzieł 743 miały przypisanych autorów - 534 mężczyzn i 209 kobiet, a 618 pozostało anonimowych. Modele oceniały artwork na podstawie trzech semantycznych pytań dotyczących arcydzieła, jakości i wpływu.
Wynikom nie wykazały istotnych statystycznie różnic płciowych. W modelu OpenAI CLIP średnie wyniki dla artystek wyniosły -0.0067 wobec -0.0035 dla artystów (p = 0.1829), a w OpenCLIP 0.0171 wobec 0.0237 (p = 0.1224). Testy TOST potwierdziły statystyczną równoważność między grupami. Jednak badacze zaznaczają dwie kluczowe ograniczenia: po pierwsze, równość wyników na poziomie makro może wynikać z niewystarczającej czułości metryki na subtelne cechy wizualno-semantyczne; po drugie, całkowita korespondencja wyników wskazuje, że modele operują bliskiego progu szumu neuronowego, co oznacza że prompty zero-shot mogą być zbyt niedokładnym narzędziem do badania rzeczywistych uprzedzeń algorytmicznych.
Badanie podkreśla wyzwanie rozróżniania między rzeczywistymi uprzedzeniami modelu a artefaktami w danych treningowych. Fakt, że model nie wykazuje makro-level uprzedzeń, nie wyklucza lokalizowanych micro-level zniekształceń w percepcji wizualnej. Wyniki sugerują potrzebę bardziej zaawansowanych metod audytu zdolnych do wykrycia subtelniejszych form uprzedzeń algorytmicznych.