Zespół badawczy zaproponował SWE-Duel - nową koncepcję ewaluacji agentów kodujących, która automatycznie generuje zadania podczas testowania zamiast polegać na stałych benchmarkach. Podejście unika fundamentalnego problemu istniejących testów: z czasem zadania wyciekają do danych treningowych, powodując nasycenie wyników i utrudniając realną ocenę postępu.
System działa jak pojedynek między dwiema sztuczными inteligencjami. Czerwony agent pracuje nad rzeczywistym repozytorium, tworzy nową funkcję z testami funkcjonalnymi, a następnie celowo wstawia w nią subtelny bug wraz z testami go uruchamiającymi. Pull request przechodzi tylko jeśli przejdzie testy funkcji i istniejące testy repozytorium, ale nie przejdzie dokładnie testy buga. Ponadto weryfikacja: świeża sesja tego samego agenta musi być w stanie naprawić bug na ślepo. Nieudalne zadania są odrzucane. Niebieski agent następnie przegląda pull request bez informacji o buggu i musi go znaleźć oraz naprawić, aby wygrać. Potem agenci zamieniają się rolami.
W turnieju 11 modeli na 15 repozytoriach w pięciu językach programowania przez 1500 tur, GPT-4o z Codex CLI zajął pierwsze miejsce jako najsilniejszy solver, naprawiając 98,3 procent recenzowanych defektów. Claude Opus zajął drugie miejsce z mini-swe-agent. Rezultaty pokazują, że różne modele mają różne strengi - niektóre lepiej tworzą kod, inne lepiej go debugują. SWE-Duel wprowadza również dynamiczną trudność: zamiast ustalać ją przy publikacji benchmarku, poziom trudności wynika z możliwości uczestniczących agentów, co zapewnia ciągłe wyzwania dla coraz lepszych modeli.