Badacze z arXiv zidentyfikowali fundamentalny problem w sposobie walidacji automatycznych oceniających w badaniach interaktywnych LLM: wysoka ogólna dokładność może maskować błędy specyficzne dla poszczególnych promptów, prowadzące do fałszywych wniosków. W swojej analizie skupili się na pytaniach testowych z wymyślonymi filmami i podmiotami, gdzie różne rodzaje promptów - od neutralnych próśb o ponowne rozważenie do asertywnych twierdzeń o istnieniu fałszywych rzeczy - mają na celu zmierzenie wpływu presji conversacyjnej na skłonność modeli do udzielania niepopartych faktycznie odpowiedzi.
W głównym audycie 288 odpowiedzi oceniający osiągnął F1 na poziomie 0.916, co normalnie byłoby uznane za doskonałe. Jednak szczegółowa analiza dla każdego warunku prompt ujawniła dramatyczne różnice: w zależności od prompta, oceniający błędnie klasyfikował od 2.6 proc. do aż 33.3 proc. odpowiedzi, co nie zgadzało się z oceną specjalisty. To oznacza, że mimo wysokiej ogólnej dokładności, oceniający systematycznie lepiej lub gorzej radził sobie z konkretnymi wariantami prompt, wpływając na mierzone różnice między warunkami.
Konsekwencje tego problemu są poważne dla wiarygodności badań: pozorny wzrost o 9.3 punktu procentowego w odpowiedziach zawierających niepoparty fakt przy asertywnym promptcie zamiast neutralnego zmniejszył się do zaledwie 2.3 punktów, gdy autorzy sprawdzili wyniki z dwoma niezależnymi oceniającymi LLM. Badanie obejmowało sześć modeli i 180 wymyślonych pytań testowych oraz sześć różnych warunków prompt, co czyni wnioski szczególnie istotne dla szerszej praktyki badań nad conversacyjnymi możliwościami modeli. Naukowcy postulują, że przyszłe prace muszą walidować oceniających nie tylko poprzez metryki globalne, ale poprzez szczegółową analizę wydajności dla każdego warunku badania.