Naukowcy z arXiv CS.CL odkryli, że przy optymalizacji harnessu (tekstowego otoczenia) wokół zamrożonych modeli językowych wartość optymalizacji nie rozkłada się równomiernie między komponenty. Zespół przedstawił HARNESSEVO - metodę, która zamiast optymalizować harness jako jeden ciąg tekstowy, dzieli go na cztery niezależnie ewoluujące sloty: role (rola), task-strategy (strategia zadania), tool/format-rules (reguły formatowania i narzędzi) oraz reflection/control (refleksja i kontrola).
W eksperymentach na ALFWorld z 7B modelem bazowym, podejście to nie poprawiło znacząco ogólnego wskaźnika sukcesu binarnego - osiągnęło 0,657 wobec 0,642 dla zarówno oryginalnego harnessu jak i evolucji harnessu jako całości. Jednak szczegółowa analiza na poziomie slotów wykazała coś kluczowego: prawie cała optymalna wartość (leave-one-in gain +0,119) skupia się w jednym slocie - reflection/control. Pozostałe trzy sloty indywidualnie przyniosły zerowe zyski.
Badanie ujawniło także poważny problem metodologiczny zwany pułapką podziału budżetu. Kiedy 64 rollouts zostało równomiernie podzielone między cztery sloty, każdy otrzymał zaledwie 16 iteracji - poniżej efektywnego pułapu wyszukiwania optymalizatora. Rezultatem było zamarznięcie wszystkich slotów na ich pustych nasionach (seed). Gdy zespół skoncentrował budżet wyłącznie na wysokowalorościowym slocie kontroli, odzyskano stracone zyski, osiągając ostatecznie 0,761. Odkrycie to ma ważne implikacje dla efektywnego tunowania agentów LLM i pokazuje, że lepsze rezultaty wymagają nie tylko lepszych metod, ale również inteligentnego alokowania zasobów obliczeniowych.