Naukowcy z arXiv przeprowadzili pierwszą kompleksową i ujednoliconą ocenę metod mających na celu poprawę spójności odpowiedzi wielojęzycznych modeli na semantycznie równoważne pytania zadane w różnych językach. Problem polega na tym, że współczesne modele językowe często dają sprzeczne odpowiedzi na te same pytania w zależności od tego, w jakim języku zostały sformułowane, co stanowi istotne wyzwanie dla ich niezawodności.
Badanie porównywało metody działające zarówno w trakcie wnioskowania, jak i wymagające dodatkowego treningu na trzech rodzinach modeli i trzech zamkniętych benchmarkach do automatycznego testowania. Kluczowe odkrycie to że metody post-trainingowe - zwłaszcza podejście zwane bezpośrednim wyrównaniem dystrybucji - konsekwentnie poprawiały spójność odpowiedzi na wszystkich kombinacjach modeli i zbiorów danych. Inne metody okazały się bardziej wrażliwe na format odpowiedzi i zakres pokrycia języków. Dodatkowo transfer wiedzy między różnymi domenami był ograniczony, chyba że zadania źródłowe i docelowe miały podobne formaty wyjściowe.
Ale jest haczyk - podczas gdy zamknięte testy nie wykazały systematycznego pogorszenia zdolności modeli do udzielania odpowiedzi wrażliwych na różnice kulturowe, otwarte generowanie tekstu ujawniło przypadki redukcji dokładności, szczególnie dla odpowiedzi w językach innych niż angielski. Badanie podkreśla konieczność większej uwagi na to, by metody poprawy spójności wielojęzycznej nie niszczyły zdolności modeli do odpowiadania w sposób culturally appropriate.