Naukowcy z MarkTechPost przeprowadzili bezpośrednie porównanie czterech dominujących agentów kodowania, testując je na rzeczywistym zadaniu inżynieryjnym zamiast na sztucznych skryptach. Każdy agent musiał dodać endpoint /subscriptions do istniejącego serwisu Python/FastAPI, scaffoldując route, modele Pydantic i warstwę serwisową, a następnie generując i uruchamiając testy, naprawiając błędy i wreszcie otwierając pull request z opisem.
Każdy z czterech agentów - Mistral Vibe for Code, Claude Code, Cursor i OpenAI Codex - oceniono w 25-punktowej skali obejmującej zdolności scaffoldowania, testowania i dostarczania kodu. Wyniki odzwierciedlają dokumentowane funkcje, opublikowane benchmarki i specyfikacje dostawców na dzień 14 lipca 2026 roku. Autorzy podkreślają jednak ważne zastrzeżenia: liczby z różnych benchmarków (SWE-bench Verified, SWE-Bench Pro i Terminal-Bench) nie są bezpośrednio porównywalne ze sobą, a niektóre oceny zawierają deklaracje samych producentów, na przykład twierdzenia Mistrala dotyczące efektywności kosztowej.
Test stanowi realną ocenę praktycznych możliwości agentów kodowania w kontekście rzeczywistych zadań inżynieryjnych, a nie teoretycznych benchmarków. Porównanie to pokazuje, które narzędzia najlepiej radzą sobie z wieloetapowymi workflow'ami, od projektowania architektury przez testowanie aż do integracji z systemem kontroli wersji, stawiając je w kontekście coraz bardziej konkurencyjnego rynku narzędzi dla deweloperów.