Duże modele językowe wcale nie są tak zdolne do analizy własnych procesów myślowych, jak nam się wydaje. Badacze z arXiv poddali tę tezę szczegółowej weryfikacji i odkryli znaczące rozbieżności między tym, co potrafią rzeczywiście zrobić, a tym, co obiecują. Okazuje się, że kiedy prosimy ChatGPT, Claude'a czy innych LLM-ów o wyjaśnienie, dlaczego podjęły daną decyzję lub jak działają ich wewnętrzne mechanizmy, modele generują odpowiedzi, które brzmią przekonujące i wiarygodnie, ale faktycznie są nieprecyzyjne. To nie jest marginalny problem - badanie pokazuje, że takie zjawisko zachodzi systematycznie i dotyczy szerokiego spektrum zadań.
Sprawa ma poważne konsekwencje dla naszego zaufania do sztucznej inteligencji. Jeśli AI potrafi nas perswadować, że rozumie swoje własne działania, a rzeczywistość jest inna, stajemy przed dylematem interpretacyjnym. W praktyce oznacza to, że nigdy nie możemy być pewni, czy model naprawdę uzasadnia swoją logikę, czy tylko fantazjuje na temat tego, jak funkcjonuje. To szczególnie ważne w zastosowaniach o wysokiej stawce - medycyna, prawo, finanse - gdzie musieliśmy mieć czym prędzej wyjaśnialność sztucznej inteligencji. Wyniki badania sugerują, że poleganie na wewnętrznych wyjaśnieniach modeli może być ryzykowne.
Odkrycie otwiera też szersze pytania o naturę introspekcji w AI. Możliwe, że obecne modele językowe po prostu nie mają dostępu do informacji o tym, jak działają ich wewnętrzne transformacje. Gdy pytamy LLM o uzasadnienie, udziela nam odpowiedzi na podstawie całego dotychczasowego treningu i wzorców statystycznych, a nie faktycznego wglądu w sieć neuronową. To oznacza, że sama architektura transformer-based modeli może stanowić fundamental przeszkodę do autentycznej introspekcji, niezależnie od tego, jak duży lub zaawansowany jest model.