Naukowcy odkryli coś fascynującego na temat tego, jak działają duże modele językowe. Okazuje się, że zanim sztuczna inteligencja wyprodukuje odpowiedź słowo po słowie, najpierw w jakiś sposób "zatwierdza" sobie na głowie, co chce powiedzieć. Badania sugerują, że modele językowe nie generują tekstu zupełnie spontanicznie - zamiast tego najpierw wybierają spośród skończonego zestawu możliwych odpowiedzi, a dopiero potem trafiają to w słowa. To jak gdyby AI miało swój wewnętrzny zespół jury, który decyduje o kierunku odpowiedzi, zanim jeszcze zostanie ona произнесена na ekranie użytkownika.
To odkrycie zmienia nasze rozumienie tego, co dzieje się w mózgu, chwilę przed tym, jak ChatGPT czy inne modele zaczynają pisać. Do tej pory naukowcy trochę odgadywali, jakie procesy przebiegają w warstewkach neuronowych tych systemów. Teraz mają konkretną teorię - model najpierw przyląduje na jednej z możliwych ścieżek odpowiedzi, a potem realizuje to poprzez generowanie tokena po tokenie. Wyjaśnia to wiele rzeczy, na przykład dlaczego czasami AI wydaje się "wiedzieć", co chce powiedzieć, jeszcze zanim to wyartykułuje.
Praktyczne konsekwencje mogą być spore. Jeśli lepiej zrozumiemy, kiedy i jak modele podejmują decyzje, będziemy w stanie je lepiej kontrolować i debugować. Możemy nauczyć się ingerować w ten proces na wcześniejszym etapie - zanim powstanie faktyczna odpowiedź. To otworzy drogę do bardziej precyzyjnych technik alignment'u, czyli wyrównywania celów AI do naszych intencji. Innymi słowy, zamiast poprawiać już gotowy tekst, moglibyśmy wpłynąć na decyzję, którą model podjął przed werbalizacją.