Amazon otwarcie stoi przeciwko jednej z najczęściej akceptowanych zasad w zarządzaniu sztuczną inteligencją. Eric Brandwine, wiceprzewodniczący i wyróżniony inżynier Amazon Security, powiedział The Register, że nadzór human-in-the-loop nie jest tak efektywny, jak wszyscy uważają. Problem, na który zwraca uwagę, jest prosty: ludzie po prostu nie są konsekwentni. Ich uwaga rozprasza się, a zainteresowanie monitorowaniem maleje z czasem, co powoduje, że mogą przegapić ważne sygnały lub błędnie ocenić działanie systemu.
Do tej pory human-in-the-loop uchodziła za złoty standard bezpieczeństwa AI — idea, że człowiek zawsze powinien być w pętli decyzyjnej jako ostatnia weryfikacja przed akcją systemu. Stanowisko Amazon'u jest znaczące, bo sugeruje, że ta metodologia może dawać fałszywe poczucie bezpieczeństwa. Jeśli ludzie, którzy są odpowiedzialni za nadzór, tracą uwagę lub stają się nieostrożni, cała koncepcja upada.
To rozbieżność między teorią bezpieczeństwa a rzeczywistością praktyczną może zmusić branżę do przepensowania podejścia do governance'u AI. Jeśli human-in-the-loop nie działa tak, jak zakładamy, firmy będą musiały szukać alternatywnych metod — czy to bardziej zaawansowanych systemów monitorowania automatycznego, lepszych narzędzi wsparcia dla ludzi, czy całkowicie nowych paradygmatów nadzoru.