Wielojęzyczne benchmark'i stereotypów w LLM-ach dzięki współpracy człowiek-AI

Naukowcy z konferencji arXiv rozwiązali problem braku multilingual'nych dataset'ów do oceny stereotypów w modelach języka. Do tej pory badania stereotypów w LLM-ach skupiały się głównie na kontekstach anglojęzycznych z powodu braku zasobów w innych językach i wysokich kosztów manualnej anotacji w niedostatecznie reprezentowanych kulturach.

Team zaproponował efektywny kosztowo framework współpracy człowiek-LLM, gdzie modele generują kandydujące stereotypy, a lokalni anotatorzy je walidują. Zastosowali to do konstrukcji EspanStereo - dataset'u stereotypów w języku hiszpańskim obejmującego wiele krajów europejskich i latynoamerykańskich. EspanStereo zawiera zarówno dobrze udokumentowane stereotypy znane z literatury naukowej, jak i kulturowo specyficzne uprzedzenia nieobecne w anglojęzycznych bazach.

Ewaluacja modelów wspierających język hiszpański przy użyciu EspanStereo ujawniła znaczne różnice w zachowaniach stereotypowych między krajami i regionami. To podkreśla krytyczną potrzebę bardziej zróżnicowanej kulturowo oceny systemów AI zamiast uniwersalnych benchmarków. Sama metodologia jest adaptowalna do innych języków i regionów, otwierając skalowalną drogę do kompleksowych, wielojęzycznych benchmark'ów stereotypów w modelach językowych.