Naukowcy z arXiv zaproponowali nowy framework do budowy datasetów stereotypów w modelach językowych poprzez kolaborację człowieka i LLM. Stworzyli EspanStereo - dataset zawierający stereotypy dla krajów hispanojęzycznych z Europy i Ameryki Łacińskiej, który wykazuje zarówno znane ze stanu literatury uprzedzenia, jak i biasy typowe dla poszczególnych kultur i nieobecne w zasobach skupionych wyłącznie na angielszczyźnie.
Dotychczasowe badania nad stereotypami w LLM skoncentrowane były przede wszystkim na kontekstach anglojęzycznych, z powodu braku datasetów w innych językach i wysokich kosztów ręcznej anotacji w kulturach niedoreprezentowanych. Nowy framework rozwiązuje ten problem, zmniejszając koszty poprzez wykorzystanie LLM do generowania kandydujących stereotypów, a następnie walidacji przez anotatorów znających lokalne realia. Ewaluacja modelów wspierających język hiszpański za pomocą EspanStereo ujawniła znaczne różnice w zachowaniach stereotypowych między krajami, co podkreśla konieczność bardziej kulturowo ugruntowanych ocen modeli.
Podejście jest skalowalne i adaptowalne do innych języków i regionów, co otwiera perspektywę na budowę kompleksowych, wielojęzycznych benchmarków do oceny bias w AI. Projekt stanowi istotny krok ku redukcji anglocentryzmu w badaniach nad bezpieczeństwem modeli językowych i stwarzuje podstawy do holistycznej, uwzględniającej różnice kulturowe oceny uprzedzeń w systemach sztucznej inteligencji.