Kenton Varda wprowadził moratorium na AI-generowane opisy zmian w kodzie dla swojego zespołu, w tym opisy pull requestów, commitów, zadań i ticketów. Problem pojawiał się podczas reviewu: model generował opisy zawierające szczegóły kodu, które były natychmiast widoczne przy spojrzeniu na kod, ale całkowicie pomijały wyższa poziomową kontekstyzację - czyli to, co broadstroke robi ta zmiana.
To praktyczne napotkanie na limitacje obecnych modeli LLM. Opisywanie zmian w kodzie to nie tylko parafrazowanie tego co widać, ale wymaganie syntezy i strategicznego rozumienia. Model AI potrafi reprodukować detale syntaksyczne, ale trafia mu wyższa wizja: "dlaczego" za zmianą, jak wpływa ona na system, jakie problemy rozwiązuje. Zwłaszcza w kontekście code review, gdzie opis ma pomagać w zrozumieniu intencji i impaktu - nie w powtórzeniu tego co się czyta z kodu.
Ta decyzja Vardy symbolizuje szerszy trend: zespoły eksperymentujące z AI assistance odkrywają, że narzędzia działają świetnie do pewnych zadań (autocomplete, templates, powtarzalne patterny), ale mogą być kontrproduktywne w rolach wymagających kluczowego osądu. Zamiast oszczędzać czas na review, AI-opisy go przedłużały - reviewer musiał filtrować szum i szukać brakującego kontekstu.