Agenty AI do naprawiania kodu dotychczas uczono się głównie przez binarny system nagród - kod albo przechodzą testy, albo nie. Problem polega na tym, że dwie porażki mogą być bardzo różne: jedna może być bliska rozwiązania, druga - zupełnie błędna. Naukowcy z arXiv zaproponowali Behavioral Self-Rewarding (BSR), metodę, w której sam model porównuje różne próby rozwiązania tego samego zadania i ocenia, która próba wykazywała lepsze debugowanie, nawet jeśli obie nie przeszły testów.
BSR działa poprzez analizę zachowania modelu w faze debugowania - porównanie wyborów i kroków podjętych w różnych trajektoriach. Agreguje te preferencje parami w lokalnych dla zadania oceny, a następnie konwertuje je na dodatkowe sygnały treningowe. Ważne, że metoda nie wymaga osobnego modelu nagród ani nowych testów - przystosowuje już zebrane dane, tworząc bogatszy kontekst do nauki.
Wyniki na benchmarkach SWE-bench Verified i SWE-bench-Live pokazały konsystentne ulepszenia dla modeli Qwen3-14B i Qwen3-32B. To znaczy, że zwykły sygnał "przeszedł/nie przeszedł" można wzbogacić o obserwacje z procesu debugowania, co daje lepsze wskazówki dla treningu. Podejście to otwiera nowe możliwości optymalizacji agentów inżynierskich bez dodatkowych kosztów obliczeniowych czy tworzenia nowych danych treningowych.