Badacze z arXiv opracowali system kontroli z „bramką dowodową" do weryfikacji decyzji agentów w systemach wieloagentowych opartych na modelach językowych. Zamiast pozwalać recenzentowi na dowolne zastępowanie propozycji, nowy mechanizm wymaga, aby recenzent najpierw przedstawił zapis mechanicznie potwierdzony naruszenia wiążącego ograniczenia oraz zgodną naprawę. Podejście to testowano na dwóch lokalnie uruchamianych modelach open-weight - Qwen i Mistral - na 96 zadaniach przestrzennych oraz benchmarku transferu portfela obejmującym 96 zadań.
Wyniki pokazały dramatyczne różnice w zachowaniu modeli. Wdrożenie bramki dowodowej zmniejszyło błędne zastępowania poprawnych propozycji o 96 procent, a jednocześnie utrzymało większość napraw rzeczywistych naruszeń. Jednak gdy dodano prospektywną walidację pozwalającą recenzentowi wybierać między zadowoleniem się, zastąpieniem lub eskalacją, Mistral nadal zastąpiła wszystkie 48 prawidłowych propozycji, podczas gdy Qwen odrzucił każdą naprawę mającą na celu zwiększenie dobrobytu. Te różnice ujawniają, że sama zmiana interfejsu nie jest niezawodnym mechanizmem bezpieczeństwa niezależnym od modelu.
Badanie wskazuje na kluczowe wnioski dla projektowania instytucji recenzji opartych na agentach AI: kompetencje konkretnego modelu, design interfejsu działań oraz jasna jurysdykcja jurisdykcyjna kto ma prawo do wiążących decyzji współgrają w skomplikowany sposób. Ograniczona recenzja z gatekeepingiem nie jest uniwersalnym rozwiązaniem - jej skuteczność zależy od tego, jak dobrze model potrafi pracować z wprowadzanymi ograniczeniami i czy jego tendencje naturalne nie podważają założeń konstruktorów systemu.