Międzynarodowy zespół badaczy przeprowadził kompleksową ocenę ośmiu modeli AI - zarówno zamkniętych (GPT, Gemini) jak i otwartych (LLaMA) - testując ich zdolności do streszczania tekstów w angielskim i bengalskim. Badanie wykorzystało ustandaryzowane zestawy testowe XL-Sum dla obu języków oraz kombinację tradycyjnych metryk leksykalnych, miar semantycznych i nowatorskich podejść opartych na LLM do weryfikacji faktualności i wielowymiarowej oceny jakości.
Wyniki ujawniły znaczące różnice między językami. GPT-5.6 Luna wykazała przewagę w większości metryk angielskich, jednak ta dominacja nie przeniosła się na bengalski. Tam właśnie LLaMA 3.3 70B osiągnęła najlepsze wyniki w skalach ROUGE i BLEU, podczas gdy Gemini 2.5 Flash uzyskała najwyższą ocenę faktyczności w bengalskim. Kluczowym odkryciem było też to, że różne metody ewaluacji dały odmienne rankingi modeli - co podkreśla pułapkę polegania na pojedynczym wskaźniku oceny.
Badanie ma duże znaczenie dla развития sztucznej inteligencji w językach mniej zasobowych. Pokazuje, że dobra wydajność w angielskim nie gwarantuje takich samych rezultatów dla innych języków, a ocena modeli wymaga zróżnicowanych, kompleksowych frameworków uwzględniających specyficzne wyzwania każdego języka. To szczególnie ważne dla aplikacji AI obsługujących populacje mówiące po bengalsku i innych mniejszościowych językach.