Naukowcy z brytyjskiego UK AI Security Institute i startup Timaeus założyli nową organizację badawczą Sequent, aby rozwiązać rosnący problem bezpieczeństwa superinteligencji. Zespół wyraża obawy, że sztuczna superinteligencja może zostać opracowana w ciągu kilku lat, ale obecne podejścia wyrównania (alignment) mogą nie być gotowe na tym samym etapie czasowym. Twórcy Sequent podkreślają, że empiryczne programy w dużych laboratoriach AI raczej nie dostarczą a priori pewności przed treningiem superinteligencji, że wszystko będzie bezpieczne.
Nowa organizacja planuje stać się znaczącą siłą w badaniach bezpieczeństwa AI. W ciągu kilku lat Sequent ma zatrudnić 40-80 pracowników pełnoetatowych, a jego założyciele celują w pozyskanie 100-150 milionów dolarów na początkowe finansowanie. Jednak zespół przygotowuje się również na znacznie większe kwoty - gotowy do pozyskania co najmniej o rząd wielkości więcej środków, jeśli uda im się wykazać udaną eksplorację wielu równoległych badań. Organizacja będzie prowadzić portfolio niedofinansowanych badań nad wyrównaniem superinteligencji, łącząc podejścia teoretyczne z empirycznymi programami badawczymi.
Powstanie Sequent odzwierciedla rosnące obawy w badaczach AI, że obecne wysiłki wyrównania mogą być niewystarczające wobec tempa postępu w sztucznej inteligencji. W idealnym świecie naukowcy rozwinęliby podejście do budowy superinteligencji ze wsparciem teoretycznych dowodów bezpieczeństwa, a następnie ją zbudowali. Jednak realizm skłania ich do przygotowania się na znacznie mniej idealny scenariusz, w którym będą musieli działać z niepełnym zaufaniem do bezpieczeństwa systemu.