Badacze z arXiv zaproponowali rewolucyjne podejście do pracy z agentami LLM: zamiast zmieniać prompt czy model, nauczyli się sterować harness - otaczającą agenta infrastrukturą wykonawczą. Formalnie problem ujęli jako Harness MDP, gdzie lekki kontroler wybiera strukturalne akcje wykonywania, podczas gdy sam LLM pozostaje zamrożony i niezmieniony.
Klucz do metody stanowi offline reinforcement learning - kontroler jest trenowany z offline rolloutów przy użyciu advantage-weighted regression, korzystając wyłącznie z końcowych nagród opartych na rubryk zadań. Zespół wprowadził też innowacyjny podział między jakością ostatecznego wyniku a Harness Maturity Score, które mierzy czy harness podąża niezawodnymi wzorcami wykonawczymi, niezależnie od poprawności odpowiedzi. To rozróżnienie daje ograniczoną perspektywę na uczenie się harnessu: znaczące wzrosty jakości wymagają wsparcia wysokich zwrotów w offline bufferze, ale zmiany w zachowaniu mogą nastąpić kiedy align się z advantage-weighted akcjami.
Eksperymenty na sześciu kontrolowanych domenach i dwóch publicznych benchmarkach - w tym dostosowanego tau-bench retail, adapted AgentBench DB-Bench oraz kodowaniu - pokazują, że nauczony kontroler konsystentnie poprawia zachowanie weryfikacyjne i selektywnie podnosi jakość zadań, osiągając największe zyski na zadaniach handlowych i kodowaniu. Ablacje względem behavior cloning i forced CHECK potwierdzają, że ulepszenia nie wynikają z samej imitacji ani dodatkowych sprawdzeń.