Zwykłe błędy typograficzne i brakujące znaki interpunkcyjne mogą znosić działanie sond bezpieczeństwa wykorzystywanych do wykrywania złośliwych promptów w modelach LLM. Chociaż modele takie jak Llama czy Qwen potrafią płynnie obsługiwać takie zaburzenia bez zmiany istoty odpowiedzi, sondy czytające ukryte stany modelu opowiadają inną historię - ten sam błąd rotuje wektor odczytu o 43-56 stopni w zaburzonym tokenie, a efekt rozpada się poniżej 15 procent w ciągu około 10 następnych tokenów.
Problematyka jest praktycznie znacząca. Trzy typowe błędy na wiadomość obniżają wskaźnik TPR (true positive rate) sondy do wykrywania prompt injection w punkcie 1 procent fałszywych alarmów aż o 12 punktów procentowych - lukę, którą samo dostrojenie kalibacji nie potrafi zamknąć. Agregacja wielu pozycji rozwiązuje zaburzenia zlokalizowane w jednym miejscu, ale tylko łagodzi rozproszone perturbacje, gdzie nawet zaawansowane agregatory attention- i max-based tracą około 3,8 punktu procentowego.
Rozwiązaniem jest innowacyjna metoda KV-cache fork: krótki ustalony sufiks dołączony po wiadomości użytkownika pozwala sondzie czytać kilka tokenów poniżej perturbacji, eksploatując szybki przestrzenny rozpad efektu. Ta technika zamyka 95 procent luki - uzyskując zaledwie 0,6 punktu procentowego pozostałej różnicy - wynik o rząd wielkości lepszy niż tradycyjna augmentacja treningowa dająca -3,7pp. Zespół zweryfikował geometrię rotacji i rozpadu na modelach Llama-3.1-8B, Qwen3-8B i Gemma-4-E4B, a ewaluacja sond odbywała się na Llama-3.1-8B.