Raport z arXiv ujawnia istotną lukę w sposobie, w jaki naukowcy testują modele świata społecznego - czyli algorytmy mające przewidywać odpowiedzi ludzi na różne działania. Analizując 113 publikacji, badacze znaleźli, że zdecydowana większość nie mierzy bezpośrednio tego, jak dokładnie model przewiduje rzeczywiste zachowanie człowieka.
Z przebadanych prac tylko 9 testowało rzeczywiste odpowiedzi ludzi na działania wybrane przez system lub badaczy. Jednak tylko 2 z nich faktycznie porównywały jawnie sformułowaną prognozę z rzeczywistym zachowaniem, przy zastosowaniu metodologii, która wykluczała dane testowe z procesu treningu i randomizowała interwencje. To oznacza, że nawet w tych najlepszych przypadkach prawidłowa procedura naukowa była wyjątkiem, a nie regułą. Osobna analiza 25 prac opartych na modelach językowynych wykazała, że żadna nie spełniała tych wymagań.
Znaczna część ocen skupiała się zamiast tego na testowaniu wnioskowania o stanie aktualnym, powodzenia w zadaniach lub przewidywania na podstawie zarejestrowanych wcześniej działań. Choć badacze zastrzegają, że ich ustalenia dotyczą przebadanej próbki i nie odzwierciedlają koniecznie całej dziedziny, znalezione braki sugerują poważny problem: systemy, które mówią, że mogą negocjować lub działać społecznie, mogą być oceniane w sposób, który nie weryfikuje ich kluczowych umiejętności przewidywania.