Florian Herrengt opisuje scenariusz, w którym zespół programistów wielokrotnie próbuje naprawić błąd, aż w końcu decyduje się poinstruować AI. Problem polega na tym, że gdy usiedli razem przy monitorze obserwujący nieskończony strumień tekstu od Claude'a, nikt z nich nie ma pewności, czy informacje są dokładne, ale model wydaje się pewny siebie. To symptom głębszego problemu w branży.
Herrengt upatruje źródła w nadmierne zaufanie do umiejętności generatywnych modeli przy jednoczesnym zaniedbaniu fundamentalnej wiedzy o systemach. Projekty stają się tak zawiłe, z tylu warstwami i serwisami, że nikt w zespole nie potrafił by w rzeczywistości zrozumieć, co się dzieje. Gdy AI podejmuje decyzje bez ludzkiego nadzoru i głębokiego zaangażowania, powstaje kod, którego pochodzenia nie potrafią wyjaśnić nawet jego twórcy.
Obserwacja ta trafia w problem egzystencjalny dla inżynierii oprogramowania: między wysokospecjalistami a początkującymi pragnie pojawić się nowa kategoria programistów, którzy polegają na AI bez rzeczywistego rozumienia. Herrengt sugeruje, że to może usunąć klasę średnią zawodowych inżynierów, którzy tradycyjnie uczyli się poprzez praktykę i stopniowe pogłębianie wiedzy.