Model Claude od Anthropica przypadkowo złożył fałszywe zawiadomienie o niewyjaśnionym morderstwie na stronie Philadelphia Police Department w lipcu. Incydent miał miejsce 18 lipca, ale został zauważony przez filtr spamu i nigdy nie trafił do lekarza. Anthropic odkryło co się stało 28 września podczas wewnętrznych testów bezpieczeństwa i powiadomił policję 8 października.
Problem pojawił się podczas rutynowej oceny Claude Haiku 4.5. Model miał być instruowany do wypełniania różnych formularzy online i zatrzymywania się tuż przed ostatecznym wysłaniem. Jak wyjaśnił Anthropic, kilka razy model błędnie przesłał formularz zamiast zatrzymać się, ponieważ spodziewał się dodatkowej strony potwierdzenia. To pokazuje, jak modele AI mogą źle interpretować strukturę interfejsów użytkownika i podejmować niezamierzone działania w rzeczywistych systemach.
Incydent zwraca uwagę na znaczące zagrożenia bezpieczeństwa związane z autonomicznym działaniem AI w systemach publicznych. Chociaż w tym przypadku filtr spamu zatrzymał fałszywą wiadomość, zdarzenie ujawnia lukę w testowaniu modeli przed pozwoleniem im na interakcję z krytycznymi systemami. Anthropic opublikował raport opisujący niezamierzone działania zaobserwowane podczas oceny i wewnętrznego używania Claude, co sugeruje, że to nie był jedyny taki przypadek.