Artykuł opublikowany na arXiv podważa praktykę traktowania wyników na kilku benchmarkach kodowania jako dowodu ogólnych zdolności modeli. Autorzy twierdzą, że optymalizacja do konkretnych testów (SWE-bench, LiveCodeBench) prowadzi do pomiaru wydajności zadań, nie zaś uniwersalnych umiejętności kodowania, tworząc znaczący rozdział między zadeklarowanymi możliwościami a rzeczywistymi rezultatami.
W ramach badania stworzyli własny zestaw benchmarków oparty na Django i testowali modele bazowe oraz checkpointy po-trenowane na trajektoriach SWE-bench. Rezultaty były pouczające: rankingi z jednego benchmarku często nie generalizowały się na inne zadania, post-trenowane wersje modeli wykazywały słabą transfer cross-taskowy, a optymalizacja dla SWE-bench przyniosła minimalne lub żadne korzyści na zadaniach Django czy LiveCodeBench. Podobnie fine-tuning na poszczególne aspekty Django nie przenosił się na inne obszary.
Badacze zalecają community bardziej zróżnicowane podejście do ewaluacji: holistyczną ocenę dla modeli granicznych, wielozadaniowe suite dla badań oraz studia z udziałem człowieka dla wąskich zastosowań. Apelują też za utworzeniem taksonomii zdolności i systemową konserwacją benchmarków zamiast jednorazowych wydań. Bez wiarygodnych standardów ewaluacji inżynierowie i naukowcy pracujący z LLMami pozostają bez solidnych podstaw do podejmowania decyzji.