Zespół badawczy pokazał, że bycie dekoderowi kierunku empatii w modelach języka nie oznacza automatycznie możliwości niezawodnej kontroli nad rzeczywistymi zmianami w odpowiedziach. Naukowcy testowali dwa aspekty empatii: Recognition (wymiar poznawczy) i Resonance (wymiar emocjonalny) na trzech instrukcyjnych modelach dużych języków, oceniając każdą interwencję przy pomocy dwóch sędziów LLM oraz klasyfikatora EPITOME, z dodatkowymi kontrolami pozytywno-neutralnymi.
Wyniki były rozczarowujące dla entuzjastów steeringu modeli. Kierunek Resonance podwyższył wynik emocjonalny tylko nieznacznie - w modelu Qwen zaledwie o 0,29 punktu, co stanowiło około 26 procent naturalnej różnicy między tekstami empatycznymi a nieneutralnym. Wśród trzech testowanych modeli (Qwen, Llama, Gemma) przesunięcie okazało się specyficzne dla danego facetu tylko u Qwen i Llamy. Natomiast steering poznawczy nie wykazał żadnych mierzalnych zmian, choć badacze stwierdzili że problem może leżeć w niedostatecznej precyzji narzędzia pomiarowego.
Badanie kwestionuje powszechne założenie, że wykrycie kierunku w modelu automatycznie oznacza możliwość jego kontrolowania w warunkach rzeczywistych. Nawet jeśli tekst zmienia się znacząco po zastosowaniu interwencji, zmiana ta niekoniecznie odzwierciedla się w zmienionym postrzeganiu empatii przez ludzi ani w niezawodnym wzroście automatycznych wskaźników.