Naukowcy stworzyli VakyArth, pierwszy benchmark oceniający pragmatyczną kompetencję sztucznej inteligencji w czterech językach indyjskich: hindi, pendżabi, tamilskim i malajalam. Benchmark obejmuje pięć zjawisk pragmatycznych - deixis, akty mowy, implikaturę, pragmatykę społeczną i koherencję - oceniane za pomocą pytań wielokrotnego wyboru, wnioskowania w języku naturalnym i translacji. Wszystkie pozycje badania zostały przygotowane przez native speakers'ów tych języków.
Testy ujawniły konsekwentne problemy wielojęzycznych modeli języków na poziomie różnych rozmiarów i rodzin architektur. Dokładność w zadaniach wielokrotnego wyboru przewyższa dokładność w wnioskach logicznych dla wszystkich kombinacji modeli i języków. Co ciekawe, wydajność translacji niekoniecznie odzwierciedla pragmatyczne zrozumienie - automatyczne metryki translacji mogą pominąć fluent'ne jednak pragmatycznie niedokładne wyniki, szczególnie w przypadku implikatury i deixis. Języki indoaryjskie wykazują przewagę translacyjną nad dravijskimi, co sugeruje głębokie różnice w sposobie przyswajalności tych struktur przez modele.
Badanie podkreśla ważną lukę w ewaluacji sztucznej inteligencji - dotychczasowe benchmarki pragmatyczne skupiały się głównie na angielszczyźnie i językach zasobnych, ignorując pragmatyczną i kulturową złożoność języków mówionych przez miliardy ludzi. VakyArth otwiera drogę do bardziej inkluzywnej oceny zdolności pragmatycznych AI, szczególnie dla języków o bogatych tradycjach lingwistycznych i konwencjach kulturowych, które wymagają głębszego zrozumienia kontekstu niż dosłowne znaczenie słów.