Wewnątrz nowoczesnych modeli językowych istnieje pojedynczy wewnętrzny kierunek, który śledzą jak pozytywne lub negatywne brzmią zdania. Naukowcy pokazali, jak znaleźć tę oś walencji za pomocą prostej procedury: osadzić dziewięć zbiorów historii zakotwiczonych emocjami w zamrożonym enkoderze, wziąć główny kierunek z dziewięciu uśrednionych embedingów. Ta metoda wymaga zaledwie około 1500 mniej etykiet niż standardowe podejście nadzorowane.
Zaskakujące odkrycie polega na tym, że ta sama oś pojawia się w wizji, audio i enkoderowaniu mózgu ludzkiego - pomimo że nigdy nie były trenowane razem. Projekcja nowych wejść na oś walencji osiąga 93 procent wydajności supervizowanego podejścia na SST-2 (dla Llama-3-8B-Instruct uzyskując AUC 0.772 wobec 0.828), koreluje z ludzkimi ocenami walencji na 11811 obrazach z datasetu EmoSet przy r=0.636 i osiąga AUC 0.906 na audio ESC-50. Klasyfikator z dwoma parametrami wytrenowany na etykietach tekstowych transferuje się do obrazów (AUC 0.961), audio (0.764) i nagrań mózgu (0.828) bez etykiet specyficznych dla modalności docelowej.
Metoda ma jednak ograniczenia - działa tylko dla atrybutów ciągłych takich jak walencja, a siedem testów na koncepcjach kategorycznych zwracało wyniki blisko przypadku (0.525). Ponadto sterowanie osiami jest specyficzne dla rodziny modeli - działa dla Llamy i Mistrala, ale nie dla Qwena czy Gemmy. Odkrycie ma znaczenie dla badań emocji w AI, gdyż pokazuje, że uczuciowe znaczenie może być reprezentowane poprzez geometrię wewnętrznych embedingów niezależnie od typu danych wejściowych.