Kod wygenerowany przez Claude'a powinien przechodzić znacznie surowszą ocenę niż kod napisany przez człowieka, uważa Boris Cherny z Anthropic. Stanowisko to wynika z praktycznego doświadczenia firmy w wdrażaniu AI-assisted programming na skalę produkcyjną.
Aby zapewnić taką wyższą jakość, Anthropic wdrożyła kompleksowy system kontroli i automatyzacji. Obejmuje on zaawansowane reguły lintingu, rozbudowany system testów, testy end-to-end uruchamiane przez samego Claude'a, automatyczne fuzzery pracujące codziennie, zautomatyzowane przeglądy kodu oraz zautomatyzowane przeglądy bezpieczeństwa. Dodatkowo firma wykorzystuje narzędzia do automatycznego refaktorowania kodu.
Wymaganie wyższych standardów dla kodu AI jest kluczowe dla długoterminowej utrzymywalności systemów. Cherny wskazuje, że bez tych systematycznych zabezpieczeń i procesów kontrolnych kod generowany przez AI może stać się trudny do debugowania, rozwijania i konserwacji. To ostrzeżenie jest istotne dla każdej organizacji, która rozważa wprowadzenie Claude'a lub innych LLM-ów do swojego workflow'u produkcyjnego - wymaga to przemyślanej strategii zapewniania jakości, a nie jedynie integracji narzędzia AI.