Badacze z arXiv zidentyfikowali, że pierwszych kilka tokenów w łańcuchu rozumowania modeli AI ma krytyczne znaczenie dla kontrolowania tego, co model ujawnia w swoim myśleniu. Zjawisko to wiąże się z nagłym spadkiem entropii (entropy collapse) bezpośrednio po otwarciu tagu myślenia, co ogranicza zdolność modelu do wyboru różnych sposobów wyrażania swoich myśli.
Naukowcy zaproponowali dwie praktyczne metody działające na etapie wnioskowania. Pierwsza z nich, prefilling, polega na wstępnym podaniu nawet jednego tokenu, co znacznie zwiększa kontrolę nad dalszym wyjściem modelu. Druga metoda łączy zakazanie częstych tokenów otwarcia z przykładami w kontekście (in-context learning), osiągając wzrost zgodności modelu z instrukcjami o 34-41 punktów procentowych na różnych modelach. Te interwencje działają szczególnie dobrze w przypadku kontroli dodawania lub transformacji informacji.
Badanie ujawnia jednak, że kontrola nad usuwaniem lub ukrywaniem informacji (suppression controllability) reaguje inaczej na te techniki, co sugeruje odrębne mechanizmy bazujące pod tymi umiejętnościami. Wyniki pokazują, że dodawanie i zmiana stylu to korelujące ze sobą umiejętności, podczas gdy tłumienie informacji wykazuje odwrotne korelacje. To rozróżnienie ma znaczenie dla bezpieczeństwa AI - kontrola w obszarze dodawania informacji silniej wiąże się z monitorowalnością modelu, podczas gdy tłumienie informacji wykazuje bardziej złożone relacje z możliwością oceny bezpieczeństwa.