Naukowcy zmierzyli, jak bardzo odpowiedzi do pytań o zastępowanie encji transferują się między różnymi pytaniami faktycznymi, badając wewnętrzne reprezentacje modeli bez zmiany wag. Zamiast patrzeć wyłącznie na to, czy odpowiedzi się zmieniają, przeanalizowali zmianę stanu ukrytego z dwóch pytań źródłowych i porównali przewidywane przesunięcie log-prawdopodobieństwa dla dwóch relacji z faktycznym pomiarem.
Eksperyment pokazał, że wstrzyknięcie wyrównanych zmian na głębokości 50% warstw dało obiecujące rezultaty. Na modelach Qwen i Llama o rozmiarze 0.5-1B metoda usuwała 45-49% błędów braku zmian, gdy pytania dotyczyły innych relacji wobec tej samej encji. Gemma-2-2B osiągnęła 22% redukcji błędów, a później protokół przywracający token BOS uzyskał 58-68% poprawy na trzech grupach testowych. Jednak wyniki były zależne od rozmiaru modelu, formatu czatu i typu encji - większe checkpointy i nowe encje wykazywały zmienną efektywność.
Badanie ujawnia, że modele współdzielą pewne neutralne względem relacji zmiany reprezentacji dla tych samych tokenów encji, co lepiej zmniejsza błędy selektywne dla relacji niż losowe lub inne zmiany. To suggest, że sieci neuronowe mogą transferować ogólne, strukturalne aspekty faktu między kontekstami, choć mechanizm ten jest podatny na skalę modelu i format danych treningowych.