Zespół badawczy pokazał, że istnieje praktyczna metoda do wykrywania destylacji w modelach LLM, czyli treningu na wyjściach silniejszych modeli trzecich stron. Klasyczne podejście, w którym próbuje się zidentyfikować nauczyciela mając tylko dostęp do ucznia, okazało się niewykonalne. Jednak w ustawieniu opartym na referencji - gdy dysponujemy modelem i jego wcześniejszą wersją z tej samej linii rozwojowej - problem staje się rozwiązywalny.
Metoda opiera się na koncepcji membership inference dostosowanej do wykrywania destylacji. Polega na porównaniu, jak silnie model uczeń preferuje wyrównanie się z wyjściami różnych potencjalnych nauczycieli w stosunku do checkpoint referencyjnego. Podejście potrafi również radzić sobie z nieznanymi pipelinami destylacji poprzez wnioskowanie proxy szablonów promptów bezpośrednio z wyjść modelu. Badacze wykryli także charakterystyczny sygnał na poziomie glifów specyficzny dla modeli o1 i o3.
Walką przy ocenie było to, że współczesne linie genealogiczne modeli są już silnie powiązane. Aby to rozwiązać, zespół opracował hybrydową ocenę obejmującą zarówno kontrolowane eksperymenty destylacji, jak i rzeczywiste modele. W obu przypadkach metoda odzyskiwała prawdziwego nauczyciela z bliskoperfektową dokładnością w scenariuszach z jednym nauczycielem, oferując praktyczne narzędzie do monitorowania praktyk treningowych.