Badanie opublikowane na arXiv pokazuje, że odporność modeli językowych na zmiany promptów radykalnie różni się między pytaniami o jednoznaczne odpowiedzi a pytaniami proszącymi o opinie lub wartości. Naukowcy testowali cztery główne rodziny modeli instruction-tuned na zbiorach danych łącznie sześciu: trzech zawierających pytania obiektywne (MMLU, ARC, CulturalBench) i trzech ze pytaniami subiektywnymi (Political Compass Test, ValueBench, World Values Survey).
Dla każdego pytania lub stwierdzenia zastosowali wielokrotne zmiany promptów - różne sformułowania, ramy porównawcze i formaty - mierząc, czy model odpowiada konsekwentnie. Analiza binomialnym uogólnionym równaniem estymacyjnym ujawniła znaczące efekty modelu, zbioru danych, kategorii promptu i ich wzajemnych interakcji. Szczególnie ważny okazał się efekt interakcji między typem pytania a zmianą promptu.
Wyniki mają znaczenie dla wiarygodności ocen modeli AI, szczególnie gdy interpretuje się ich odpowiedzi jako odzwierciedlenie wartości politycznych lub przekonań społecznych. Jeśli odpowiedzi na subiektywne pytania są podatne na małe zmiany formulacji, to traktowanie ich jako pomiaru rzeczywistych wartości modelu może być problematyczne. Badanie wskazuje, że pytania obiektywne wykazują wyższą odporność na zmiany promptów niż pytania subjektywne, co sugeruje różne mechanizmy odpowiadające za odpowiedzi w obu kategorii.