Naukowcy przyjrzeli się na wylot, jak działa VAKRA - system agentów AI łączący zdolności rozumowania z użytkowaniem narzędzi - i odkryli zarówno mocne strony, jak i zaskakujące punkty słabe. To badanie ma kapitalne znaczenie dla zrozumienia, dlaczego autonomiczne systemy AI czasem sprawiają kłopoty i jak mogą zawodzić w praktycznych zastosowaniach. Okazuje się, że nawet zaawansowane agenty potrafią popełniać błędy w sytuacjach, które dla człowieka byłyby banalne.
Zespół badawczy przeprowadził dogłębną analizę wewnętrznych mechanizmów VAKRA, biorąc pod lupę to, jak system podejmuje decyzje, wywołuje dostępne narzędzia i radzi sobie z błędami. Odkryto konkretne tryby awarii - charakterystyczne scenariusze, w których agent zawodzi systemowo. Chodzi tu zarówno o problemy z wnioskowaniem logicznym, jak i nieumiejętne korzystanie z funkcji pomocniczych. Te ustalenia są ważne dlatego, że agenty AI z każdym miesiącem pełnią bardziej krytyczne role w biznesie i administracji.
Wyniki sugerują, że aby uczynić takie systemy bardziej niezawodnymi, trzeba skupić się nie tylko na samym szkoleniu rozumowania, ale również na zbadaniu granic tego, co agent potrafi. Praktycznie oznacza to, że twórcy systemów powinni zadbać o transparentność - agenty powinny umieć powiedzieć, kiedy czegoś nie rozumieją, zamiast działać po omacku. Dla branży AI to wciąż stosunkowo nowe odkrycia, które mogą wpłynąć na projektowanie bezpieczniejszych i bardziej przewidywalnych autonomicznych systemów w przyszłości.