Naukowcy z arXiv opracowali ARIA, nowy framework do naprawy wieloagentowych systemów LLM-owych w czasie ich działania, zamiast czekania na porażkę lub powtarzania całej egzekucji. Problem, który ARIA rozwiązuje, to fakt, że błędy w systemach wieloagentowych mają tendencję do rozprzestrzeniania się - gdy jeden agent pracuje na podstawie błędnego outputu innego, może to zapaść całe zadanie. Standardowe podejście diagnostyczne czy ponowne uruchamianie systemu nie uczy się interwen cji w trakcie wykonywania.
Kluczową innowacją ARIA jest zamienienie wykonania i weryfikacji napraw w dane treningowe. Zespół zebrał 24 tysiące trajektorii - zarówno udanych jak i nieudanych - z czterech różnych frameworków wieloagentowych, sześciu benchmarków i ośmiu modeli LLM-owych. Z tego materiału zbudowali pierwszy na dużą skalę dataset zawierający 3953 zweryfikowane pary napraw, gdzie każda para określa co poszło nie tak, gdzie trzeba ingerować i jak powinno toczyć się dalsze wykonanie. To podejście przesunęło poszukiwanie napraw z fazy testowania do fazy konstruowania danych i trenowania.
Framework ARIA jest agnostyczny względem konkretnej implementacji systemu wieloagentowego - działa z dowolnym MAS, który ujawnia trajektorie wykonania i umożliwia zamianę kontynuacji. Kompaktowy model wytrenowany na tych weryfikowanych naprawach uczy się rozpoznawać moment wymagający interwencji i jak ją przeprowadzić. To oznacza, że zamiast ciągle eksperymentować z różnymi naprawami w locie, system może korzystać z wcześniej wyuczonych wzorców błędów i sposobów ich naprawy.