Naukowcy opracowali nowatorską metodę treningu agentów zajmujących się inżynierią oprogramowania, która pozwala na uczenie poza tradycyjnym schematem weryfikowalnych nagród. Zamiast ograniczać się do binarnego feedback'u - coś się powiodło lub nie - zespół zastosował podejście oparte na rubrice, czyli szczegółowym zestawie kryteriów oceny. To rozwiązanie znacznie rozszerza możliwości fine-tuningu modeli, pozwalając im na bardziej subtelne rozumienie różnych aspektów pisania i debugowania kodu.
Dotychczas agenci SWE (Software Engineering) kierowali się głównie nagrodami, które dało się automatycznie zweryfikować - typ najczęściej "test przeszedł" lub "test nie przeszedł". Takie podejście jest bezpośrednie, ale ograniczające: nie pozwala na ocenę pośrednich etapów pracy, stylystyki kodu czy efektywności rozwiązania. Nowa rubrika-based metoda GRM (Graded Reward Model) wprowadza kontinuum ocen, gdzie model otrzymuje bardziej granularne informacje zwrotne. Mogą to być punkty za czytelność kodu, za optymalne użycie dostępnych bibliotek, za poprawne obsługę błędów czy logikę implementacji - nawet jeśli końcowy wynik nie jest idealny.
Praktyczne znaczenie tego podejścia jest dla branży duże. Agenci SWE mają szansę na bardziej zrównoważony rozwój umiejętności, zamiast skupiania się wyłącznie na przejściu testów. W rezultacie modele mogą uczyć się lepszych praktyk programistycznych i stawać się bardziej użyteczne w rzeczywistych scenariuszach, gdzie nie wszystko da się zmierzyć automatycznym testem. To szczególnie ważne dla młodszych lub bardziej złożonych projektów, gdzie feedback wymaga ludzkiego osądu.