Naukowcy ze Stanford opracowali TRACE - system do automatycznej diagnozy i naprawy powtarzających się błędów agentów LLM poprzez ukierunkowane środowiska treningowe. System został udostępniony otwartym kodem na licencji MIT.
Głównym problemem jest fakt, że agenty inteligentne zawsze padają w ten sam sposób - brakuje im konkretnych, wielokrotnie wykorzystywalnych umiejętności potrzebnych do wykonania zadań, takich jak pobranie właściwego rekordu czy weryfikacja warunku wstępnego. Tradycyjne rozwiązania, takie jak bezpośrednie RL lub supervised fine-tuning, marnują budżet obliczeniowy: dają rzadkie nagrody, które nigdy nie wskazują, która umiejętność brakuje, lub generują sztuczne dane bez kierunku, wysyłając zasoby na trenowanie umiejętności, które model już posiada. TRACE zaobserwował kluczową prawidłowość - awarie nie są losowe. Mały zestaw deficytów odpowiada za większość nieudanych trajektorii.
Sistem działa w czteroodsłonowy, automatyczny proces napędzany agentami LLM. W pierwszym kroku (contrastive capability analysis) agent bazowy generuje toczenie w docelowym środowisku, a agent analizy rozdziela je na zbiory udane i nieudane, oznaczając każdą parę trajektoria-umiejętność jako brakującą, obecną lub nieistotną. Następnie TRACE generuje ukierunkowane dane treningowe dla zidentyfikowanych luk w umiejętnościach, trenuje model na tych konkretnych deficytach i iteracyjnie poprawia agent. Podejście skupiające się na rzeczywiście potrzebnych umiejętnościach zamiast na generalnym RL oznacza znacznie bardziej efektywne wykorzystanie zasobów obliczeniowych i szybszą poprawę wydajności agentów.