Zespół badaczy zaproponował nową strategię trenowania autonomicznych agentów opartych na dużych modelach językowych w domenach, gdzie ocena jakości wymaga ludzkiego osądu eksperta. Tradycyjne podejścia do uczenia wzmacniającego opierają się na automatycznych nagrodach binarnych, ale w rzeczywistych aplikacjach, takich jak interpretacja intencji użytkownika czy wyszukiwanie informacji w systemach finansowych, okazuje się to niewystarczające. Problem pogłębia się, gdy algorytm GRPO otrzymuje rzadkie nagrody - jeśli wszystkie wariacje wyjścia w grupie otrzymają tę samą ocenę, model nie uczy się nic użytecznego i proces optymalizacji zatrzymuje się.
Noworoczne rozwiązanie łączy niewielką, ustaloną pulę ocen ekspertów z metrykami opartymi na wyszukiwaniu, tworząc hybrydowy sygnał treningu. To podejście rozwiązuje fundamentalny problem braku informacji zwrotnej w domenach niemożliwych do pełnej weryfikacji, gdzie brak jest jasnych, obiektywnych kryteriów sukcesu. Metoda ta jest szczególnie ważna dla praktycznych zastosowań, gdzie bezpieczeństwo i zgodność z regulacjami są kluczowe.
Wyniki eksperymentów pokazują znaczną poprawę wydajności - wzrost do 6 procent w metryce Recall@3 i 6,7 procent w MRR@3 w porównaniu z systemami opartymi wyłącznie na rzadkich nagrodach. To oznacza, że agenci mogą działać bardziej niezawodnie w realnych scenariuszach biznesowych, gdzie dokładne wyszukiwanie i interpretacja zapytań mają bezpośredni wpływ na doświadczenie użytkownika i wyniki finansowe.