Agenty LLM wyposażone w dostęp do zewnętrznych narzędzi mają fundamentalny problem - mogą wymyślać sobie funkcje, które nie istnieją, i wywoływać je z argumentami, które żaden schemat nie przewiduje. Dotychczasowe podejścia do bezpieczeństwa, skupiające się na wyborze właściwego narzędzia lub ograniczeniu tego, co agent może z narzędziami robić, zupełnie ten typ halucynacji pomijają, bo presupozycja tych metod brzmi: wołane narzędzie w ogóle istnieje.
Dlatego zespół badaczy opracował nową taksonomię opisującą pięć klas halucynacji narzędzi (H1-H5) i zaproponował Resolution Rung - prosty resolver działający bez treningu. To podejście oparte na sprawdzeniu czy narzędzie jest w rejestrze (closed-world) i weryfikacji sygnatury. Badania objęły dziesięć hostowanych modeli (w tym 675-miliardowy) i wykazały 322 rzeczywiste halucynacje w ich populacji. Problem był drastycznie bardziej widoczny na nieograniczonej powierzchni raw-JSON (34 hallucynacje) niż na powierzchni ze schematem (3 hallucynacje). Zaskakujące - rozmiar modelu nie pomagał, większe modele halucynowały z podobną częstością co mniejsze.
Badacze wykazali też, że obrona przed halucynacjami musi poprzedzać jakiekolwiek tradycyjne bramy bezpieczeństwa, bo halucynacyjne wywołanie jest konstruktywnie niedostępne dla żadnej bramki do odrzucenia. Rozszerzyli też analizę na Model Context Protocol, gdzie łączenie kilku serwerów w jedną przestrzeń nazw tworzy nowe powierzchnie halucynacyjne, które pojedynczy rejestr nie może wyrazić. To otwiera drugą taksonomię (M1-M5) specyficzną dla tego protokołu.