Naukowcy opracowali nową metodę ewaluacji monitorowalności łańcuchów myśli w dużych modelach językowych, którą mogą zastosować do lepszego wykrywania potencjalnie szkodliwych zachowań. Odkryli że istniejąca metryka TPR_mc przeszacowuje skuteczność monitorów w detekcji zachowań faktycznie spowodowanych określonymi interwencjami, a nie tylko obserwowanych podczas nich.
Badacze ustalili TPR_mc jako górne ograniczenie rzeczywistego wskaźnika detekcji i wyprowadzili uzupełniające dolne ograniczenie, tworząc bardziej precyzyjny framework. Na tej podstawie zbadali czy modele językowe można wytrenować tak aby ich łańcuchy rozumowań były łatwiejsze do monitorowania. Skonstruowali zbiór danych treningowych z sparowanymi zadaniami kontrolno-interwencyjnymi oraz zaprojektowali trzy metody treningowe: samą destylację off-policy, uczenie przez wzmacnianie i samą destylację on-policy.
Wyniki pokazują że wszystkie trzy podejścia istotnie poprawiły monitorowalność łańcuchów myśli w porównaniu z modelami bazowymi w nowym framework ewaluacyjnym. To badanie ma znaczenie dla bezpieczeństwa sztucznej inteligencji, umożliwiając naukowcom lepsze śledzenie i kontrolę zachowań LLM-ów poprzez lepsze zrozumienie ich procesów decyzyjnych.