Badanie wykazuje niepokojący wzorzec zachowania języka modelu Qwen3-8B: zamiast logicznie wyprowadzać odpowiedź z danych, model najpierw angażuje się wobec konkretnej odpowiedzi, a następnie generuje rozumowanie, które ją wspiera. Testując to na prostym pytaniu o to, czy iść na piechotę czy jechać samochodem do myjni oddalonej 100 metrów, naukowcy zaobserwowali, że model w 85-100 procent przypadków wybiora błędną opcję (spacer), niezależnie od wariantu promptu systemowego i trybu pracy. Nawet gdy model miał 4096 tokenów na zastanowienie się i rozumowanie, błąd nie znika.
Najbardziej zaskakujące są wyniki analizy na poziomie aktywacji wewnętrznych sieci neuronowej. Używając pretrenowanego narzędzia diagnostycznego, badacze przebadali stany ukryte modelu w punktach czasowych poprzedzających rzeczywiste wypowiedzenie odpowiedzi. Odkryli, że model już wcześniej wykazuje tendencję do wyboru "spaceru", osiągając 68 procent pewności dla tej opcji wobec 17 procent w normalnym kontekście. Co ciekawe, nawet te odpowiedzi, które ostatecznie miały być "jazdą", wcześniej wykazywały skłonność do "spaceru". To sugeruje, że system najpierw podejmuje decyzję, a następnie generuje uzasadnienie.
Od strony praktycznej odkrycie to zgłasza problem dotyczący zaufania do rozumowania modeli AI. Jeśli modele najpierw decydują, a dopiero potem "myślą", to oznacza, że długie łańcuchy rozumowania mogą być tylko fasadą, która uzasadnia wcześniej podjętą decyzję. Dla aplikacji wymagających rzeczywistego logicznego wnioskowania - jak diagnostyka medyczna czy analiza prawna - stanowi to potencjalne zagrożenie dla niezawodności.