CacheScope to nowa technika przyspieszająca inferencję transformerów dyfuzyjnych poprzez ponowne wykorzystanie buforowanych cech zamiast pełnych obliczeń denoizujących na wybranych krokach. W przeciwieństwie do istniejących metod skupiających się na doskonaleniu rekonstrukcji pominętych cech, zespół badawczy odkrył, że placement kroków z pełnymi obliczeniami ma znacznie większy wpływ na jakość wyników niż sama złożoność rekonstruktora. Pracownicy zaproponowali innowacyjne podejście do oceny ryzyka: normalizują wariację sond wyjściowych poprzez odpowiadające im przemieszczenie trajektorii wejścia, uzyskując miarę "directional gain per unit trajectory movement". Ta metoda lepiej ujawnia rzeczywiste ryzyko buforowania niż bezwzględna wariacja pomiarów.
CacheScope działa w trybie online - identyfikuje kroki wysokiego ryzyka i selektywnie wraca do pełnych obliczeń dyfuzyjnych, pozostawiając bazowy rekonstruktor bez zmian. Co istotne, metoda nie wymaga dodatkowego treningu, gradientów, pomocniczych sieci ani offline'owego harmonogramu specyficznego dla promptu. Stanowi to ogromną zaletę w praktycznym zastosowaniu - można ją wdrożyć w istniejące systemy bez modyfikacji modeli bazowych.
Wyniki eksperymentalne pokazują moc podejścia: na modelach FLUX.1-dev, Wan2.1-T2V-1.3B oraz Open-Sora 1.2 CacheScope osiąga przyspieszenie do 3,57x przy jednoczesnym zmniejszeniu mediany metryki LPIPS aż o 70,1% w stosunku do najbardziej zaawansowanych baselin opartych na sondach. To sugeruje, że inteligentne decyzje o tym, gdzie przeprowadzić pełne obliczenia, mogą być bardziej efektywne niż optymalizacja samych rekonstrukcji - główny paradygmat, który dotychczasowe prace zakładały.