OpenAI przeprowadziła nową analizę SWE-Bench Pro, jednego z najpopularniejszych benchmarków służących do ewaluacji zdolności modeli AI w rozwiązywaniu zadań związanych z kodowaniem i inżynierią oprogramowania. Badanie wykazało znaczące problemy, które podważają niezawodność i dokładność tego narzędzia oceniającego.
SWE-Bench Pro był dotychczas uważany za standard w branży, a jego wyniki cytowano jako dowód postępu w zdolnościach kodowania najnowszych modeli. Ujawnienie jego wad ma fundamentalne znaczenie dla każdego, kto polega na tych metrikach do porównywania i oceny wydajności różnych systemów AI. Problemy w benchmarku mogą oznaczać, że rzeczywista wydajność modeli nie jest dokładnie odzwierciedlona w opublikowanych wynikach.
To odkrycie powinno skłonić badaczy i firmy technologiczne do zastosowania bardziej rygorystycznych podejść przy ocenianiu modeli kodujących. Przyszłe benchmarki będą prawdopodobnie musiały uwzględnić te wyzwania, aby zapewnić, że wyniki są rzeczywiście znaczące i mogą być porównywane między różnymi systemami AI.