Zespół badaczy z ByteDance Seed, Singapore University of Technology and Design i Georgia Tech opracował HarnessDev, metodę polegającą na ocenie zdolności modeli do inżynierii własnych komponentów agenta. Zamiast tradycyjnej oceny odpowiedzi, HarnessDev ocenia jakość harnessu - całego kodu otaczającego model, czyli pętli wykonawczej, dostępnych narzędzi, weryfikacji i mechanizmów obsługi błędów.
Metodologia przebiega w dwóch etapach. W fazie Creation model otrzymuje słabą bazę: jedynie prymitywne funkcje do obsługi plików i procesów, bez pętli głównej, planera czy weryfikatora. Model musi sам zbudować kompletny harness na podstawie specyfikacji zadania i 1-3 przykładów deweloperskich. Harness jest następnie zamrażany przed testowaniem na ukrytych zadaniach. W fazie Evolution model poprawia swój harness, używając feedbacku z 100 zadań SWE-bench Pro i 189 zadań Terminal-Bench 2.1. Każda kandydująca wersja musi przejść oba testy w parze z budżetem 10 par iteracji i maksymalnie 2 sondami pośrednimi.
Kluczowy wniosek: choć modele wykonały 64 modyfikacje harnessu, tylko 34 z nich uogólniło się na 630 nowych, ukrytych przypadków. To wskazuje na fundamentalny problem w zdolności modeli do abstrahowania poprawnych rozwiązań - mogą one pracować na znanych zadaniach, ale trudności napotykają przy generalizacji na nowe problemy. Wyniki sugerują, że automatyczne inżyniering agentów wymaga znacznie bardziej zaawansowanych podejść niż obecne możliwości LLM.