Naukowcy opublikowali artykuł opisujący RIMS, framework do optymalizacji preferencji dla małych modeli językowych pracujących w architekturze retrieval-augmented generation. Problem, który rozwiąża, jest prosty: małe modele (SLM) są wrażliwe na szumne lub mylące dane wyszukane z zewnętrznych źródeł, a istniejące metody preferencyjne marnują informacje przez wybieranie tylko jednej najnajtrudniejszej pary danych, zamiast uczenia się ze wszystkich dostępnych porównań.
ROBIA to trzystopniowy system. Najpierw generuje dane preferencyjne poprzez rejection sampling używając samego modelu docelowego - bez polegania na drogich i niepublicznych modelach zaawansowanych. Następnie wprowadza kluczową innowację - zamiast twardej selekcji (hard argmin/argmax), stosuje wygładzającą agregację (soft aggregation), która działając jak operator matematyczny, zachowuje gradienty ze wszystkich par preferencji. To pozwala modelowi uczyć się z większej ilości informacji. Trzeci etap to sama optymalizacja preferencji z wygładzonym celem.
Wyniki są obiecujące. Na czterech benchmarkach odpowiadania na pytania wieloetapowe RIMS konsekwentnie pobiło istniejące rozwiązania, niezależnie od tego, który mały model użyto jako bazę. Zyski w Exact Match i F1 były widoczne zwłaszcza w scenariuszach z hałaśliwym wyszukiwaniem. Teoretycznie metoda ma też gwarancje - autorzy pokazali, że wygładzająca aproksymacja ma kontrolowalny błąd i zapewnia lepsze wyrównanie gradientów niż tradycyjna tarda selekcja.