Naukowcy z arXiv zaproponowali TR-RAG, nową metodę trenowania systemu retrieval-augmented generation w scenariuszu, gdzie użytkownicy zadają pytania w różnych językach, ale odzyskane teksty źródłowe pozostają w angielszczyźnie. Problem objawia się wtedy, gdy model zawija odpowiedź na angielski lub zaczyna mieszać języki, mimo że dysponuje mocnym modelem bazowym. To dzieje się dlatego, że model źle wykorzystuje angielskie teksty przy generowaniu odpowiedzi w innych językach.
Przyczyna leży w dwóch wyzwaniach pojawiających się po etapie treningowego dostosowania modelu. Firstly, błędy są zależne od prefixu - to znaczy od wcześniejszej części generowanej sekwencji - więc standardowe metody nadzorowania z ustaloną trajektorią działają gorzej, bo prefix w danych treningowych nie pokrywa się z prefixem generowanym przez model. Secondly, nagrody na poziomie całej sekwencji (często oceniane przez sędziego AI) są głośne i powodują niepewne aktualizacje wag modelu.
Rozwiązanie TR-RAG łączy optymalizację nagród z on-policy distillacją. Mniejszy student model generuje odpowiedzi, podczas gdy mocniejszy zamrożony teacher model analizuje prefixes tylko na podstawie tych odpowiedzi i dostarcza anchor w postaci reverse-KL divergence. Autorzy wprowadzili też nowy rozkład nagród specjalnie dla wielojęzycznej generacji z angielską evidencją, łączący spójność języka, przypomnienie znaków 3-gram i LLM-judge score dla oceny merytorycznej. Badania na benchmarkach BioASQ-ENKB5, Hotpot-ENKB5 i MKQA pokazują, że TR-RAG istotnie poprawia zarówno przestrzeganie języka, jak i gruntowność odpowiedzi w porównaniu z istniejącymi metodami.