Florian Herrengt wskazuje na rosnący problem w branży: zespoły inżynierskie coraz częściej stosują generatywną sztuczną inteligencję do naprawy bugów zamiast rzeczywiście zrozumieć kod, który piszą. W scenariuszu, który opisuje, zespół próbuje 4. raz naprawić błąd, tym razem prosząc AI o pomoc. Nikt nie ma pewności, czy odpowiedzi Claude'a są prawidłowe, ale model wydaje się pewny siebie - co stanowi niebezpieczną kombinację.
Problem pogłębia się, gdy okazuje się, że nikt w zespole nie wie nawet, skąd pochodzą dane, które system przetwarza. Zamiast ponieść wysiłek, by to sprawdzić, inżynierowie po prostu pytają kolejny raz AI. W rezultacie projekty stają się coraz bardziej zawiłe, z wieloma warstwami i serwisami, które nikt nie potrafi w pełni zrozumieć - nawet ludzie, którzy je tworzyli.
Herrengt argumentuje, że sztuczna inteligencja nie zastępuje tylko seniorów czy juniorów - ona eliminuje całą "średnią klasę" inżynierów oprogramowania. Te osoby mogłyby rzeczywiście nauczyć się systemu i go ulepszyć, ale zamiast tego zespoły wpadają w pułapkę coraz większego długu kognitywnego i technicznego. AI pozwala na szybki postęp na powierzchni, ale kosztem zrozumienia fundamentów.