Badacze z arXiv przeprowadzili systematyczną analizę wrażliwości na formatowanie promptów w modelach językowych i odkryli problem, który wyjaśnia rozbieżności w benchmarkach AI. Format Sensitivity Index (FSI) pokazuje, jak bardzo zmienia się dokładność modelu w zależności od wybranego wrappera promptu - średnio ta wariancja wynosi 30 krotnie między różnymi modelami. Nowy miernik Parseability Sensitivity Index (PSI) dodatkowo śledzył, jak zmienia się zdolność modelu do zwracania odpowiedzi w poprawnym formacie.
W eksperymencie obejmującym 140 tysięcy generacji na siedmiu zadaniach QA oraz czterech modelach (od 7B do 72B parametrów) naukowcy testowali pięć rodzin formatów wrappera. Głównym czynnikiem odpowiadającym za zmienność okazały się błędy compliance, czyli niezdolność modelu do zgodności ze zdefiniowanym schematem odpowiedzi. Regresja z efektami stałymi wykazała, że parseability pozostaje silnym predyktorem dokładności nawet po kontrolowaniu zmiennych zadania, modelu i wrappera.
Wynalazki mają istotne konsekwencje dla benchmarkingu modeli AI oraz dla praktycznych wdrożeń systemów strukturyzowanego outputu. Wyniki wskazują, że raportowanie wyłącznie samej dokładności bez informacji o wariancji wynikającej z formatowania jest statystycznie niestabilne i może prowadzić do błędnych wniosków o zdolnościach modelu. Badacze rekomendują jasne standardy raportowania wariancji formatowania oraz lepsze kontrolowanie compliance w schematach odpowiedzi.