Naukowcy wprowadzili nową technikę wykrywania dezinformacji opartą na activation engineering, która traktuje prawdziwość informacji jako geometryczną właściwość przestrzeni reprezentacyjnej modelu transformerowego. Zamiast analizować powierzchniowe cechy lingwistyczne czy pobierać zewnętrzne źródła, metoda identyfikuje kierunek nieprawdy w residual stream poprzez kontrast aktywacji zdań prawdziwych i fałszywych.
Procedura opiera się na zasadzie Contrastive Activation Addition (CAA) - użytkownik dostarcza pary zdań (jedno prawdziwe, jedno fałszywe) do wyznaczenia kierunku kłamstwa w modelu. Podczas wnioskowania aktywacja ostatniego tokenu analizowanego twierdzenia jest rzutowana na ten kierunek, a wynikowa reprezentacja trafia do sieci Multilayer Perceptron do klasyfikacji. Co ważne, metoda nie wymaga fine-tuningu modelu bazowego ani zbierania zewnętrznych faktów.
Badacze przetestowali podejście na 11 modelach z rodzin Gemma, Llama i Qwen, od 270M do 12B parametrów, na trzech benchmarkach - AVeriTeC, LIAR i FACTors. Kierunek nieprawdy okazał się odzyskiwalny niezależnie od wielkości modelu i jego architektury. Ostatecznie rzutowanie na ostatni token dorównywało lub przewyższało wyniki prompting'u zero-shot i few-shot, szczególnie na benchmarkach LIAR i FACTors, co sugeruje, że modele rzeczywiście kodują wiedzę o prawdziwości na poziomie reprezentacyjnym.