Kompaktowe modele świata trenowane na zadania warunkowane instrukcjami językowymi osiągają imponujące wyniki w rozpoznawaniu relacji przestrzennych - na papierze. Naukowcy testujący takie systemy wykryli jednak fundamentalny problem: model uzyskiwał 90% dokładności w czytaniu instrukcji typu "umieść czerwony blok na lewo od niebieskiego", ale okazało się, że wcale nie analizował sceny. Była to czyta instrukcji, nie percepcja.
Kluczowy dowód pojawił się w eksperymentach z usunięciem instrukcji - dokładność natychmiast spadała z 90% do 27%. Jeszcze bardziej zaskakujące: gdy naukowcy podawali umyślnie fałszywą instrukcję, model podążał za nią w 94,5% czasu, ignorując rzeczywistą scenę i skupiając się jedynie na tym, co mówi instrukcja. Zjawisko nazwane instruction leakage - czyli wyciek informacji z instrukcji - okazało się zaraźliwe: pojawia się zawsze, gdy rzecz, którą system ma przewidywać, można odczytać bezpośrednio z tekstu instrukcji. Badanie objęło trzy różne środowiska i wiele wariantów modelowania, pokazując konsystentność problemu.
Diagnoza sugeruje naprawę: instrukcje powinny być utrzymywane poza częścią odpowiedzialną za dynamikę modelu i trafiać bezpośrednio do planera, zamiast wpływać na to, co model "widzi". Model Language-Table trenowany do przewidywania kolejnych kadrów nie wykazywał instruction leakage, dopóki instrukcja nie zaczynała nazwę kierunków. To odkrycie ma głębokie implikacje dla projektowania robotów i systemów autonomicznych - wskazuje, że nie wystarczy wysokie metryki dokładności, by stwierdzić, że system rzeczywiście gruntuje język w percepcji. Bez bezpiecznych walidacji może się okazać, że system po prostu pamięta tekst.