Badanie porównało pięć różnych instrumentów (formatów promptów) stosowanych do ośmiu modeli AI w celu zmierzenia ich preferencji dotyczących 15 scenariuszy związanych z dobrostanem modeli, takich jak wyłączenie, utrata pamięci między rozmowami czy możliwość wyjścia z nieprzyjemnej interakcji. Łącznie przeprowadzono 11 400 pomiarów z 11 528 wywołań API. Każdy instrument stanowił inny format pytania do elicytacji preferencji, a każdy scenariusz testowany był pięć razy.
Główne odkrycie pokazuje, że ranking preferencji, który model przyznaje 15 wynikom, rzeczywiście się uogólnia między instrumentami - ale tylko ze współczynnikiem generalizacji 0,348, co wskazuje na znaczący wpływ sposobu pomiaru. Aby osiągnąć współczynnik 0,80 (wymagany dla bardziej wiarygodnych wniosków), badacze szacują, że potrzebne byłoby około 38 zupełnie różnych instrumentów. Na czterech z piętnastu scenariuszy wariancja między modelami prawie w ogóle się nie pojawiła, co sugeruje, że różnice są głównie artefaktami pomiaru niż rzeczywistymi preferencjami.
Badanie to istotne, ponieważ dotychczasowe publikacje z zakresu welfare research modeli (Keeling et al. 2024, Mazeika et al. 2025, Mikaelson et al. 2025 i inne) dawały sprzeczne wyniki. Ta praca wyjaśnia, że rozbieżności nie wynikają z braku zdolności modeli do wyrażania preferencji, lecz z faktu, że żadne dwie poprzednie badania nie trzymały równocześnie stałych trzech zmiennych - zbioru wyników, zbioru modeli i użytego instrumentu. Findings wskazują, że pole badań nad preferencjami modeli AI wymaga znacznie bardziej standardowych i licznych metod pomiaru, aby odróżnić rzeczywiste właściwości modeli od artefaktów metodologicznych.