Nowa analiza OpenAI ujawnia znaczące problemy w SWE-Bench Pro, benchmarku, który stał się punktem odniesienia dla oceny zdolności kodowania modeli sztucznej inteligencji. Badanie wskazuje na braki w niezawodności i dokładności tego popularnego narzędzia ewaluacyjnego.
SWE-Bench Pro jest szeroko stosowany do porównywania wydajności różnych modeli AI w rozwiązywaniu rzeczywistych zadań programistycznych. Jednak odkrycia OpenAI sugerują, że wyniki uzyskane na tym benchmarku mogą nie w pełni odzwierciedlać rzeczywistą zdolność modeli do pracy nad kodowaniem. Problemy te mogą dotyczyć zarówno samego projektowania testów, jak i metodologii pomiaru.
To ma znaczenie dla całej branży AI, która opiera się na benchmarkach przy wyborze modeli i ocenie postępu w rozwoju. Jeśli popularne narzędzia ewaluacyjne zawierają błędy systematyczne, może to prowadzić do fałszywych wniosków na temat superlacjonalności konkurencyjnych rozwiązań i wpłynąć na decyzje inwestycyjne oraz kierunek badań. Analiza OpenAI sygnalizuje potrzebę głębszego przeanalizowania metodyk oceniania AI w kontekście programowania.