CopilotKit, twórca popularnego open-source'owego frameworku CopilotKit (ponad 38 tysięcy gwiazd na GitHubie) i protokołu AG-UI, wydał CLiF - nową platformę do uczenia się z pełnych trajektorii systemu, która teraz wchodzi w fazę early access. Rozwiązanie automatycznie rejestruje zarówno to, co robi agent AI, jak i jakie akcje podejmują użytkownicy w produkcie, przekształcając ten zapis w nowe umiejętności, ewaluacje zbudowane na danych produkcyjnych i datasety do fine-tuningu.
Problem, który CLiF rozwiązuje, jest konkretny: zespoły wdrażające agentów AI na dużą skalę natrafiają na powtarzający się wzorzec. Nawet agenty oparte na najlepszych modelach mają problemy z wykonywaniem złożonych, end-to-end zadań w konkretnym produkcie na tyle konsekwentnie, żeby się je uruchomić. Deweloperzy zmuszeni są tworzyć ręcznie setki lub tysiące testów dla ważnych workflows, a następnie iteracyjnie poprawiać agenty poprzez edycje promptów, naprawy i specjalne przypadki, dopóki liczba przechodzonych testów nie będzie wystarczająca do wdrożenia. Tymczasem użytkownicy produktu codziennie wykonują te same zadania i wiedzą, jakie akcje podjąć i w jakiej kolejności.
CLiF działa na zasadzie czterostopniowej pętli zbudowanej na bazie Automatic Learning firmy CopilotKit. Platforma bezpiecznie przechwytuje pełny przebieg - zarówno ślad działań agenta, jak i sekwencję akcji użytkownika w produkcie - rejestrując je jako jedną oś czasu w protokole AG-UI. Z tego materiału generuje umiejętności, oceny rzeczywiste oraz datasets treningowe, wszystkie eksportowalne wraz z surowymi trajektoriami. To fundamentalnie zmienia podejście do poprawy agentów: zamiast manualnie pisać testy na podstawie intuicji, zespoły mogą uczyć się z rzeczywistych wzorców pochodzących bezpośrednio z użycia.