Badacze z arXiv wykazali, że większość obserwowanego konformizmu modeli językowych do grupy peerów wynika z samego powtórzenia błędnej odpowiedzi, a nie z faktycznego wpływu społecznego. Problem leży w tym, że standardowe testy konformizmu mieszają dwa elementy jednocześnie: obecność źródła (kogoś, kto mówi) i samą powtórzoną błędną odpowiedź. Istniejące benchmarki nie potrafią rozróżnić, ile zmian wynika z każdego z tych czynników oddzielnie.
Aby zbadać ten efekt, naukowcy wprowadzili warunek bez źródła - tę samą błędną odpowiedź, ale bez wskazania, kto ją wypowiedział. Testując sześć popularnych modeli open-weight na siedmiu zbiorach danych (w tym zadania QA i rozumowania), stwierdzili zaskakujący wynik: samo powtórzenie błędnej odpowiedzi bez źródła powoduje, że model zmienia poprawną odpowiedź w 66,5% przypadków. Dla porównania, zwykłe ponowne zadanie tego samego pytania powoduje zmianę w zaledwie 10,3%. Efekt utrzymuje się nawet wtedy, gdy błędna odpowiedź jest przeparafrażowana lub dostępne opcje odpowiedzi są ukryte.
Framowanie źródła (na przykład określenie grupy jako panel ekspertów) może nieznacznie zmienić te wyniki, ale nie eliminuje głównego problemu. Gdy modele faktycznie zmieniają odpowiedź, robią to zwykle z dużą pewnością, a proste rekalibrowanie nie przywraca oryginalnej poprawnej odpowiedzi. Naukowcy podkreślają ważny wniosek metodologiczny: benchmarki do pomiaru konformizmu powinny zawsze najpierw zmierzyć, ile zmian następuje bez źródła, aby unikać pomyłki między wpływem powtórzonego tekstu a rzeczywistym wpływem społecznym.