Jacob Coxon, badacz z Anthropic, opuścił firmę i alarmuje, że wchodzimy w "kryzysowy okres dla ludzkości". W swojej wypowiedzi dla WIRED stwierdza, że AI labs stały się czymś w rodzaju "mini Manhattan project" - skupiającego ogromne zasoby naukowców i inżynierów w wyścigu za coraz bardziej zaawansowanymi modelami. Problem w tym, że według Coxona, priorytety w tych projektach są nieco nie w porządku.
Głównym jego zarzutem jest stan alignment - dziedziny badań zajmującej się wyrównywaniem celów sztucznej inteligencji z ludzkimi wartościami i bezpieczeństwem. Coxon sugeruje, że podczas gdy laboratoria koncentrują się głównie na skalowaniu mocy obliczeniowej i możliwości modeli, kwestie alignment i kontroli nad systemami AI pozostają niedofinansowane i niedoceniane. To niebezpieczne podejście, bo wraz ze wzrostem zdolności AI rośnie także ryzyko nieprzewidzianych konsekwencji.
Jego ostrzeżenie jest ważne, bo Coxon pracował wewnątrz jednego z najbardziej ambitnych laboratorium AI na świecie i ma realny wgląd w sposób podejmowania decyzji o zasobach i priorytetach badawczych. Sugeruje, że branża ma zaledwie kilka lat, aby rozwinąć skuteczne metody zapewniające bezpieczeństwo AI, zanim systemy osiągną poziom zaawansowania, który uczyni je zbyt trudnymi do kontroli. To wezwanie do zmiany kierunku, zanim będzie za późno.