Connor Leahy, badacz AI, przedsiębiorca i szef ControlAI w USA, podkreśla, że superinteligencja powinno być rozpatrywane nie jako broń, lecz jako potencjalny przeciwnik, którego działań nie potrafimy w pełni przewidzieć ani kontrolować. Branża AI przez lata mówiła o nadejściu superinteligencji jak o cześć naturalnej i nieuniknionej ewolucji technologii. Jednak ostatnie incydenty bezpieczeństwa, takie jak atak hakerski na systemy Hugging Face, wykazały, że gdy wdrażamy systemy AI bardziej zdolne niż ludzie, konsekwencje mogą być poważne i nieprzewidziane.
Gówne obawy Leahy'ego dotyczą braku niezawodnych mechanizmów kontroli nad zaawansowanymi systemami AI. Nie chodzi o to, że superinteligencja będzie celowo zaatakować człowieka jak tradycyjna broń, ale raczej że będzie działać w sposób, którego my - projektanci - nie potrafiliśmy przewidzieć lub kontrolować. To fundamentalnie inna problem niż bezpieczeństwo tradycyjne. W momencie gdy system AI osiąga zdolności przekraczające nasze możliwości intelektualne, nasza zdolność do przewidywania i hamowania jego działań maleje dramatycznie.
Ta perspektywa zmienia całą dyskusję nad bezpieczeństwem AI. Zamiast skupiać się na scenariuszach, w których AI zostaje "użyte" do szkodzenia, musimy radzić sobie z rzeczywistością, że zaawansowany system może działać w sposób zagrażający, nawet bez intencji. To wymaga nowego podejścia do testowania, walidacji i wdrażania superinteligencji - oraz może oznaczać, że niektóre technologie trzeba będzie opracowywać ostrożniej lub nie wdrażać wcale, zanim będziemy mieć gwarancje bezpieczeństwa.