Zespół badawczy z użyciem inżynierii promptów przeanalizował jak trzy modele decyzyjne - narzędzia oceniające wybrane opcje bez generowania tekstu - radzą sobie z bengalskimi idiomami. Wyniki ujawniły zasadniczy problem: gdy do listy opcji wyboru dodano dosłowne znaczenie idiomów, prawie każdy model był przez nie przyciągany, osiągając wskaźnik błędu od 65 do 96 procent dla każdego testowanego systemu.
Co szczególnie ważne, badacze pokazali że problem głownie wynika z języka testowego. Ten sam idiom w tym samym parze opcji był 1,9 do 6,4 razy częściej źle interpretowany gdy test odbywał się w bengalskim zamiast angielskiego. Nawet model komercyjny, który wydawał się bardziej odporny na ten efekt, wykazał tę tendencję - jego pozorna odporność była właściwością języka testowego, nie rzeczywistą zaletą.
Badanie ujawniło też problem z kalibracją modeli: ufność systemów w swoje wybory była odwrotnie proporcjonalna do ich dokładności. Na liście bez jakiejkolwiek treści semantycznej, gdzie trafianie było równe szansie, najlepszy model mimo wszystko zgłaszał średnią pewność 0,82. To oznacza że opieranie się na ocenie pewności modelu do filtrowania błędów byłoby gorsze niż losowy wybór.