Badacze stworzyli DisaBench - nowy system do testowania, czy modele AI dyskryminują osoby niepełnosprawne. Framework pozwala na systematyczne wykrywanie szkód, uprzedzeń i dyskryminacyjnych wzorców w zachowaniu dużych modeli języka wobec tej grupy społecznej. To krok ważny, bo dotychczasowe benchmarki zajmujące się bezpieczeństwem AI prawie w ogóle nie biorą pod uwagę perspektywy osób z niepełnosprawnościami, a systemami AI posługują się już setki milionów ludzi na całym świecie.
Problem, który rozwiązuje DisaBench, jest fundamentalny: modele uczenia maszynowego trenuje się na danych pochodzących z internetu, gdzie uprzedzenia wobec osób niepełnosprawnych są głębokie i wszechobecne. Wytrenowany na takich danych model może więc wzmacniać stereotypy, generować szkodliwe rekomendacje lub udzielać gorszej jakości odpowiedzi na pytania związane z niepełnosprawnościami. Istniejące testy bezpieczeństwa zwykle sprawdzają tylko, czy AI nie jest rasistowskie, seksistowskie czy homofobiczne - ale zapominają o dyskryminacji wobec osób z niepełnosprawnościami, mimo że to jedna z największych grup dyskryminowanych globalnie.
DisaBench opiera się na podejściu partycypacyjnym, czyli angażuje samych osoby niepełnosprawne w proces oceny modeli. To ważne, bo tylko ta grupa ma pełną wiedzę o tym, jakie konkretnie szkody może im wyrządzić AI. Framework pozwala na testowanie modeli w wielu kategoriach niepełnosprawności - fizycznej, sensorycznej, neurodywergencji - i mierzy, czy modele generują dyskryminacyjne teksty, czy radzą sobie z pytaniami specyficznymi dla tej populacji. Dla branży AI to sygnał, że w przyszłości będzie znacznie trudniej ignorować dostępność i inkluzywność w procesie projektowania i wdrażania nowych modeli.