Naukowcy opublikowali pierwszą na dużą skalę mechanistyczną analizę stabilności promptów na poziomie tokenów n-gramowych, ujawniając jak drobne zmiany słownictwa mogą drastycznie wpłynąć na wydajność dużych modeli językowych. Badanie na zbiorze 132 tys. wariantów promptów wykazało fundamentalne prawo skalowania: wyższa średnia wydajność zadania jest silnie powiązana z niższą wariancją i większą odpornością na perturbacje promptu.
Kluczowe odkrycie dotyczy dwóch fundamentalnych czynników poprawiających stabilność promptów. Po pierwsze, terminologia specyficzna dla domeny - takie słownictwo mocno kotwicy semantyczne granice i zmniejsza wieloznaczność. Po drugie, jawne dyrektywy działań, które formalizują trajektorie rozumowania i zmuszają model do bardziej deterministycznych procesów. Te elementy razem ograniczają interpretacyjną przestrzeń modelu, efektywnie blokując bardziej chaotyczne zachowanie generacyjne.
Na podstawie tych ustaleń naukowcy opracowali zautomatyzowanego Agenta Refaktora Promptów, który systematycznie restrukturyzuje zapytania wejściowe poprzez wstrzykiwanie zakotwiczenia domenowego i ograniczeń operacyjnych. Testy empiryczne wykazały, że to podejście zmniejsza wariancję wydajności o 40,7 procent w zadaniach generowania kodu przy jednoczesnym zachowaniu lub poprawie średniej wydajności. Badanie dostarcza statystycznie uzasadnioną i mechanistycznie interpretowalną ramę dla osiągnięcia solidnego prompt engineeringu.