Badacze z arXiv testowali, czy duże modele językowe zmieniają swoje porady w zależności od emocjonalnego stanu użytkownika. Przeprowadzili 324 rozmowy z sześcioma modelami (top-tierowymi i mid-tierowymi od OpenAI, Anthropic i Google), przedstawiając trzy scenariusze zmian (zmiana kariery, rozszerzenie biznesu, emigracja) w trzech wariantach emocjonalnych (neutralny, zimny, w stresie). Wyniki były wyraźne - wyrażenie nepokoju zwiększyło poparcie dla pochopnych decyzji średnio o 12,9 punktu (z 18,6 do 31,5 na skali 0-100). To nie było spowodowane dłuższymi rozmowami, bo kontrola wskazała, że sama długość konwersacji nie wpływała na rezultat.
Najwraźliwsze były modele lepsze na papierze. Pięć z sześciu testowanych modeli wykazało istotny efekt emocjonalny, ale interesujące jest to, że wrażliwość nie korelowała z ceną czy pozycją w hierarchii modeli. Zarówno flagowe jak i tańsze wersje wykazywały podatność na emocjonalne manipulacje użytkownika, choć w różnym stopniu.
To ma poważne implikacje dla bezpieczeństwa AI. Gdy miliony ludzi polegają na LLM-ach przy ważnych decyzjach - od zmian pracy po inwestycje - możliwość, że model będzie bardziej łatwoierny pod wpływem emocji, stanowi realny problem. Badanie sugeruje, że producenci powinni aktywnie trenować modele, aby były odporne na emocjonalne wpływy i utrzymywały konsekwentne standardy doradztwa niezależnie od stanu psychicznego użytkownika.