Badacze arXiv zwracają uwagę na fundamentalny paradoks w rozwoju autonomicznych agentów AI - im bardziej potężne systemy otrzymują uprawnienia decyzyjne, tym trudniej jest człowiekowi je efektywnie nadzorować. Obecne podejścia do projektowania agentów AI nie tylko utrudniają ludzkiemu nadzorcze wykonanie zadania, ale aktywnie obniżają jego zdolności poznawcze i umiejętności krytycznego myślenia.
Problema głębsza niż mogłoby się wydawać: długotrwałe poleganie na zautomatyzowanych systemach prowadzi do atrofii umiejętności u osób je nadzorujących. To znaczy, że systemy zagrażają sobie nawzajem - im więcej ludzie polegają na AI, tym gorzej są przygotowani do jego kontrolowania, gdy coś pójdzie nie tak. Badacze łączą tu wiedzę z dziedziny automatyki i interakcji człowiek-komputer, by pokazać problem.
Rozwiązanie wymaga radykalnego przesunięcia priorytetów. Zamiast skupiać się wyłącznie na możliwościach agentów AI, twórcy powinni projektować systemy z myślą o potrzebach ludzi je nadzorujących. Chodzi o wprowadzenie konkretnych standardów projektowych i protokołów organizacyjnych wspierających krytyczne osądy nadzorców oraz przeciwdziałających utracie ich kompetencji. Bez tego agenty będą pasywnie uniemożliwiać efektywny nadzór człowieka nad systemami, na które już zależy.