Firmy technologiczne zdefiniowały sukces w polityce bezpieczeństwa AI na podstawie unikania najgorszych scenariuszy. Chatboty obiecują, że nie będą zachęcać do samobójstwa, platformy społeczne utrudniają dzieciom kupowanie fentanylu. To ważne działania, ale pozostawiają wiele miejsca dla systematycznych szkód wyrządzanych co dzień zwykłym użytkownikom.
Problema polega na tym, że produkt może spełniać każde wąskie wymóg bezpieczeństwa i mimo to zaszkodzić całej kulturze w sposób, który nie trafia na pierwsze strony gazet. Nastolatek, który rozwija niezdrową więź z towarzyszem AI, nigdy nie pojawi się w pozwie sądowym, chyba że w wyjątkowo jaskrawych przypadkach. To samo dotyczy ucznia, który zaczyna polegać na chatbocie do pisania każdej pracy domowej, czy młodej osoby porównującej swoje życie z algorytmicznie wylansowanymi treściami zaprojektowanymi do wywoływania zazdości.
Historyczne tendencje pozwoliły technologicznym debatom być zdominowanym przez dyskusję najgorszych możliwych scenariuszy. Wchodząc w erę potężnych produktów AI, społeczeństwo powinno żądać więcej niż tylko rozwiązywania zagrożeń katastroficznych. Potrzebne są działania mające na celu zapewnienie, że produkty nie erodują sposobu, w jaki myślimy, uczymy się i wchodzimy w interakcje ze sobą. Wąska definicja sukcesu skupiona na bezpieczeństwie jest politycznie wygodna dla branży technologicznej, ale nie wystarczająca dla społeczeństwa.