Naukowcy opracowali Wazobia Eval, dedykowany benchmark do ewaluacji zdolności modeli sztucznej inteligencji w rozumieniu nigeryjskiego pidżyny. Projekt stanowi odpowiedź na wyraźny brak narzędzi do oceny modeli AI dla tego języka, mimo że pidżyn nigeryjski mówi miliony ludzi w Afryce.
Benchmark zbudowany jest na ręcznie otagowanym zbiorze danych zawierającym ponad 550 przykładów oraz na 16-kategorowej taksonomii emocji. W przeciwieństwie do tradycyjnych frameworków analizy sentymentu, taksonomia ta została specjalnie zaprojektowana do oddania kulturowych rejestrów emocjonalnych charakterystycznych dla nigeryjskiego pidżynu. Ewaluacja obejmuje trzy główne zagadnienia: rozumienie emocji, detekcję sarkazmu oraz rozumowanie kulturowe - aspekty, które są kluczowe dla rzeczywistego zrozumienia języka, lecz zostały pominięte w istniejących benchmarkach.
Projekt stanowi ważny krok w kierunku bardziej inkluzywnej ewaluacji AI dla języków afrykańskich. Dotychczas większość benchmarków skoncentrowana była na zadaniach takich jak tłumaczenie czy transkrypcja, zaniedbując subtelności kulturowo osadzonego rozumienia języka. Wazobia Eval dostarcza standaryzowanych protokołów ewaluacji i reproducible'nych metryk dla przyszłych badań nad nigeryjskim pidżynem, udostępniając dataset publicznie na platformie Hugging Face.