Każde duże wydanie modelu AI zawiera nowe rezultaty w kodowaniu i prawie zawsze liczby rosną, co skłania wiele osób do szybkiego wniosku, że junior inżynierowie są skazani. Jednak przeskok od wyniku benchmarku do rzeczywistych zmian na rynku pracy przeskakuje wiele istotnych kroków. Rzeczywista analiza wymaga odpowiedzi na pytanie: jakie warunki musiałyby być spełnione, aby agenty rzeczywiście mogły zastąpić junior developerów?
Pierwszy warunek dotyczy niezawodności agentów przy zadaniach o długości, jaką otrzymują rzeczywisty junior inżynierowie. Według badań METR dotyczących time-horizon, począwszy od 2019 do 2025 roku, długość zadań, w których model osiąga 50% sukcesu, podwajała się mniej więcej co siedem miesięcy. W ostatnich latach tempo przyspeszenia się. Jednak 50% sukcesu to zbyt niski próg, aby można było na tym oprzeć rzeczywiste zatrudnienie. Gdy spojrzy się na bardziej realistyczny próg 80% sukcesu, horyzont czasowy jest znacznie krótszy. To pokazuje, że choć modele robią postępy, niezawodność wciąż nie dorównuje temu, czego wymagałaby praktyka.
Autor analizuje również pozostałe warunki: czy agenty mogą pracować autonomicznie bez ludzkiego nadzoru, czy mogą się adaptować do specyficznych kontekstów zespołów i projektów, oraz czy mogą faktycznie zastąpić wartość, jaką junior inżynierowie wnoszą do organizacji. Czwarty warunek - najbardziej przerażający - nie zależy od spełnienia pozostałych trzech i dotyczy ekonomiki na dużą skalę.