Główny problem branży AI nie leży w jakości napisanego kodu, ale w rosnącym braku zrozumienia jak działają nowoczesne modele i systemy. Gdy technologia staje się coraz bardziej złożona, a jej działanie coraz mniej przejrzyste, nawet doświadczeni inżynierowie mają trudności z wyjaśnieniem, dlaczego model podejmuje konkretne decyzje lub jak dokładnie przebiega jego wnioskowanie.
To zjawisko tworzy podatek poznawczy w całej branży. Deweloperzy nie potrafią w pełni debugować problemów, bo brakuje im fundamentalnego zrozumienia underlying mechanizmów. Organizacje nie mogą świadomie ocenić ryzyk związanych z wdrażaniem nowych modeli. Nawet eksperci muszą polegać na empirycznych testach zamiast na teoretycznym zrozumieniu - a to zawsze prowadzi do pewnych słabych punktów i niespodziewanych zachowań w produkcji.
Ta krytyka ma istotne implikacje dla przyszłości AI. Jeśli branża nie pokaże sposobu na zwiększenie przejrzystości i zrozumienia swoich narzędzi, to czeka nas era, gdzie nawet ci, którzy je tworzą, będą jedynie obserwatorami zamiast prawdziwymi architektami. To może hamować innowacje, zwiększyć podatność na błędy i utrudnić odpowiedzialny rozwój sztucznej inteligencji.