Systemy agentów AI powszechnie wdrażają bramy kontroli jakości oparte na cosine similarity do porównywania bloków tekstu, ale te narzędzia mają krytyczne błędy w działaniu. Badacze arXiv przeprowadzili szczegółowy audyt i odkryli, że te bramy - używane w filtrach deduplikacji, pamięciach semantycznych i mechanizmach sprawdzania dryfu - odpowiadają na zupełnie inne pytanie niż powinny. Zamiast pytać "czy znaczenie pozostało takie samo", faktycznie mierzą "jak bardzo zmienił się sposób sformułowania tekstu". Konsekwencją jest odwrócona logika bezpieczeństwa.
Wyniki audytu są zdumiewające. Testowana brama drift guardów w produkcji nie zdołała złapać ani jednej z 56 mutacji zmieniających kluczowe znaczenie instrukcji. Szczególnie alarmujące jest zatwierdzenie zmiany "wstrzymać lek badawczy" na "podać lek badawczy" z wynikiem cosine 0.9608, mimo że instrakcje są całkowicie sprzeczne. Badacze przeanalizowali pięć wdrożonych konfiguracji i stwierdzili, że zrównoważona dokładność (balanced accuracy) nigdy nie przekroczyła 0.700, przy medianie zaledwie 0.525. W 13 z 18 badanych konfiguracji AUROC wynosił dokładnie 0.000, czyli gorszej od losowego
Problem leży w sposobie, w jaki różne zmeny wpływają na score'y. Odwrócenie instrukcji to często pojedyncza edycja słowa, podczas gdy zgoda lub potwierdzenie tego samego znaczenia zwykle wymaga przeformułowania całego zdania. Ta asymetria sprawia, że brama zatwierdzająca opiera się na zniekształconym sygnale. Badacze przetestowali standardowe naprawy, takie jak zmiana enkodera czy warunkowanie bramy na podstawie przekrycia tekstu, ale rezultaty były rozczarowujące - w próbce testowej osiągnęły 0.750, ale na danych walidacyjnych spadły do 0.533. Odkrycia sugerują, że fundamentalny problem z wykorzystaniem cosine similarity jako miary semantyki wymaga głębszego przeredefinowania podejścia.