Naukowcy opracowali nową technikę o nazwie probe guidance, która steruje modelami flow matching poprzez wykorzystanie wewnętrznych stanów istniejących modeli dyfuzji. W odróżnieniu od tradycyjnego autoguidance, metoda ta nie wymaga dodatkowego przejścia forward w czasie wnioskowania, co znacząco zmniejsza koszty obliczeniowe.
Badacze przetestowali podejście na modelach dyfuzji dla języka i osiągnęli nowy stan techniczny w generowaniu bezwarunkowym. Gdy zastosowali probe guidance do modelu z 1,7 miliardami parametrów, zaobserwowali konsystentne ulepszenia w testach wielokrotnego wyboru. Eksperymenty wykazały również, że sukces autoguidance zależy od tego, czy słabszy model pochodzi z obszarów treningowych o niskiej entropii.
To odkrycie ma dwie ważne implikacje. Po pierwsze, oferuje praktyczny sposób na poprawę wydajności modelów dyfuzji języka przy niższych kosztach obliczeniowych. Po drugie, badanie rzuca nowe światło na dotychczas słabo rozumiany mechanizm działania autoguidance, co może zainspirowąć dalsze prace nad optymalizacją technik sterowania w generatywnych modelach AI.