Simon Willison w rozmowie podcastowej Talking Postgres z Claire Giordano poruszył kwestię pomiaru produktywności agentów AI w rozwoju oprogramowania, przywołując konkretne liczby z pracą programistów. Tradycyjnie inżynier oprogramowania produkuje około 50 do 200 linii gotowego, przetestowanego kodu produkcyjnego dziennie - a 200 linii to bardzo dobry dzień. Agenty kodujące mogą potencjalnie generować tysiące linii kodu dziennie, co stanowi znaczący skok wydajności.
Choć wiele osób argumentuje, że liczenie linii kodu jest bezużytecznym miernikiem, Willison się z tym nie zgadza. Uważa, że ma to sens przy porównaniu produktywności agentów, bo twardy limit wydajności ludzkiej jest dobrze udokumentowany. Kluczowy warunek to jednak utrzymanie jakości - kod musi być łatwy do utrzymania, dobrze przetestowany i nadający się do produkcji. Osiągnięcie tego poziomu z agentami wymaga jednak ogromnych umiejętności, wiedzy i doświadczenia - to właśnie definiuje senior engineerów.
Willison zauważa, że pracując z agentami, jeden inżynier może wykonać znacznie więcej pracy niż wcześniej. Wydaje się to sugerować, że firmy mogą potrzebować mniej kodowników, ale autor wskazuje na błąd w tym rozumowaniu. Poza ryzykiem utraty wiedzy w małym zespole, prawdziwym nowym ograniczeniem staje się wydolność poznawcza - zdolność do architekturyzacji, podejmowania decyzji technicznych i kierowania całą pracą kodowania.