Zespół badawczy opublikował BaFCo, benchmark specjalizowany w rozumieniu bengalskich formularzy rządowych przez multimodalne duże modele językowe. Dataset zawiera 200 złożonych, wielostronicowych dokumentów z sektorów takich jak rolnictwo, edukacja, bankowość i zarządzanie gruntami. Adnotacje obejmują 26 typów szczegółowych jednostek formularza oraz 5 typów jednostek ogólnych, co pozwala na precyzyjną ocenę zdolności modeli.
Badacze ewaluowali najnowsze wersje modeli z serii ChatGPT, Gemini, Claude, Qwen i Kimi, stosując techniki zero-shot oraz chain-of-thought zarówno w trybach o niskim, jak i wysokim stopniu rozumowania. Wyniki pokazały znaczące ograniczenia obecnych modeli wielomodalnych w obsługiwaniu bengalskich formularzy - szczególnie problemem okazała się precyzyjna lokalizacja granularnych elementów dokumentu.
Benchmark trafia do niedostatecznie obsługiwanego w AI segmentu - języków o małych zasobach edukacyjnych. Dla Bengalu i innych języków nisko-resourceowych brak wysokiej jakości zbiorów danych do treningu utrudnia wdrażanie modeli AI w rzeczywistych, praktycznych zastosowaniach. Dataset i kod były udostępnione na platformie Hugging Face, co umożliwia dalsze badania nad poprawą rozumienia dokumentów w językach o ograniczonych zasobach.