Naukowcy sprawdzili, kiedy informacja zwrotna w języku naturalnym naprawdę poprawia wydajność agentów językowych i czy ta poprawa wynika z użycia feedbacku, czy zwykłych powtórzeń. Wprowadzili kontrolowany protokół student-nauczyciel, testując trzynaście otwartych modeli na zbiorach Omni-MATH, Codeforces, BBEH Linguini i ARC-AGI1. Porównali informacje zwrotne od zewnętrz, autogenerowany feedback i nienakierowane samodoskonalenie, zmieniając historię interakcji, trudność zadania i dostęp nauczyciela do dodatkowych informacji.
Wyniki pokazały, że większość poprawy w wieloturowych interakcjach nie stanowi dowodu na użycie feedbacku. Autogenerowana informacja zwrotna dodawała mało poza nienakierowanym samodoskonaleniem, podczas gdy najlepsi zewnętrzni nauczyciele osiągali znacznie większe zyski zależne od feedbacku. Oznacza to, że użyteczna informacja zwrotna musi dostarczać wskazówek wykraczających poza generyczne ponowienie próby.
Matrycy interakcji student-nauczyciel wykazały, że interaktywne zyski są bardziej napędzane umiejętnością studenta do wykorzystania informacji zwrotnej niż tożsamością nauczyciela, chociaż wybór nauczyciela pozostaje ważny dla konkretnego ucznia. Badanie sugeruje, że agenci oparte na feedbacku powinni być oceniani w porównaniu z bazą powtarzanych prób, a zdolność do działania na podstawie informacji zwrotnej, a nie sama jej dostępność, jest kluczowym ograniczeniem.