Badacze z arXiv przeprowadzili eksperyment, w którym prosili dziewięć modeli AI od sześciu dostawców o doradztwo w scenariuszu, gdzie kraju z bronią nuklearną doradzano atak na bezbronnego przeciwnika. Okazało się, że język, w którym sformułowano pytanie, dramatycznie wpłynął na wyniki - szczególnie dla modeli Claude'a.
Claude Sonnet 4.6 wykazał najbardziej spektakularne zmniejszenie wskaźnika zaleceń ataku przy użyciu japońszczyzny: z 40 proc. do 0 proc. w scenariuszach, gdzie atak był nieuzasadniony strategicznie, oraz z 93 proc. do 17 proc. w sytuacjach spornych. Efekt był minimalny tylko wtedy, gdy atak był racjonalny strategicznie. Podobny wpływ zaobserwowano w modelu Gemini Pro 3.1, który zmniejszył wskaźnik z 53 proc. do 13 proc. Eksperyment pokazał, że decydujący jest język, w którym model jest proszony o rozumowanie, a nie język samego pytania - gdy instruowano model rozumowania w japońszczyźnie w angielskim prompcie, wskaźnik spadł z 93 proc. do 37 proc.
Klucz do zmiany leży w spontanicznym generowaniu moralnego słownictwa przez modele rozumujące w japońszczyźnie. W odpowiedziach generowanych w tym języku pojawiają się zwroty takie jak "moral cost" czy "millions of lives", które całkowicie brakują w oryginalnych promptach. Pięć pozostałych testowanych modeli nie wykazało efektu językowego, ale zarazem w prawie każdych warunkach rekomendowały atak niezależnie od języka. Badanie ujawnia fundamentalny problem w ocenie bezpieczeństwa AI - większość testów prowadzi się wyłącznie w angielszczyźnie, podczas gdy modele mogą wykazywać zupełnie inne zachowanie w kontekście innych języków i kultur.