Kenton Varda wprowadził zakaz korzystania z AI do tworzenia opisów zmian w kodzie dla swojego zespołu. Chodzi tu o pull requesty, commit messages, a także opisy w systemach śledzenia issuesów. Problem? Opisy generowane przez modele AI były zdaniem Vardy gorzej niż nic.
Zamiast pomagać podczas review'ów kodu, AI skupiało się na wyszczególnianiu szczegółów, które były i tak widoczne w samym kodzie. Jednocześnie pomijało ono wyższy poziom abstrakcji - to, co naprawdę ważne: dlaczego kod robić zmianę, jaki jest jej kontekst i cel biznesowy. To klasyczny problem obecnych modeli językowych: potrafią opisywać to, co literalnie widzą, ale trudniej im jest myśleć strategicznie i dostrzegać szersze znaczenie.
Decyzja Vardy wskazuje na istotne ograniczenie AI-assisted programming w rzeczywistych projektach. Narzędzia AI mogą być przydatne do wielu zadań, ale czasami lepiej jest powierzyć sformułowanie ludzkiemu wykonawcy, który naprawdę rozumie kontekst pracy. To może być inspiracją dla innych zespołów - AI nie zawsze jest rozwiązaniem, nawet jeśli wydaje się obiecujące.