Naukowcy odkryli, że rozumowanie w dużych modelach językowych dzieje się przede wszystkim w utajonych warstwach sieci neuronowej, a nie w jawnie widocznych łańcuchach myśli, które wyprodukują dla nas. To bardzo ważne odkrycie, bo do tej pory badacze i praktykujący inżynierowie uważali, że chain of thought - czyli pokazanie krokowych rozumowań modelu w tekście - jest głównym mechanizmem, w którym AI faktycznie myśli. Okazuje się, że to niezbyt dokładna analogia.
Badanie ujawnia, że modele takie jak GPT-4 czy Claude operują na ukrytych stanach wewnętrznych, które zawierają znacznie bogatsze i bardziej złożone procesy kognitywne niż to, co ostatecznie wypisze model w odpowiedzi. Innymi słowy, gdy namawiamy AI do pisania "krok po kroku" myśli, model w rzeczywistości tłumacza swoje faktyczne rozumowanie - już dokonane w ukrytych warstwach - na formę zrozumiałą dla człowieka. To jak gdyby prosić kogoś o wyjaśnienie intuicji, którą już ma, zamiast obserwować samą intuicję w działaniu.
Dla praktyki to ma konkretne implikacje. Jeśli rozumowanie kryje się w utajonych reprezentacjach, to znaczy, że chain of thought może być przydatny jako narzędzie debugowania lub interpretacji wyników, ale niekoniecznie pokazuje faktyczne myślenie modelu. Badacze powinni porzucić ideę, że wyświetlenie pośrednich kroków wylicza pełną strukturę rozumowania, i zamiast tego skupić się na analizie samych wektorów i stanu ukrytego. To otwiera nową perspektywę na to, jak interpretować i ulepszać sztuczną inteligencję w przyszłości.