Naukowcy zaproponowali Semidirect Fourier Delta Attention (SFDA), ulepszenie linear attention address, które dotychczas kompromisem między wydajnością a zdolnością śledzenia stanu. Tradycyjne softmax attention przechowuje rosnące cache klucze-wartości (KV), co staje się niepraktyczne dla długich kontekstów, dlatego linear attention kompresuje to do stałego stanu rekurencyjnego - ale to zmniejsza dokładność pamięci.
Głównym wkładem SFDA jest zastąpienie zwykłego rozkładu diagonalnego mechanikiem blokowymi rotacjami Fouriera z kontrolą fazową. Zamiast prostej exponential decay, model wykorzystuje zespolone liczby z kontrolowaną fazą, co pozwala na bardziej precyzyjne śledzenie informacji. Kluczową techniką matematyczną jest nowa konstruktywna faktoryzacja chunk-WY, która gwarantuje, że wzrost ranga parametrów pozostaje ograniczony wewnątrz stałych bloków. To daje formalne gwarancje stabilności i ograniczenia złożoności obliczeniowej.
Wstępne eksperymenty pokazały, że SFDA efektywnie uczy się cyklicznej pamięci w zadaniach śledzenia stanu, podczas gdy warianty bez fazy (baseline KDA) osiągały wyniki na poziomie losowego zgadywania. Autorzy jednak zaznaczają, że pełna walidacja wymaga jeszcze fused kernels i testów na dużych modelach językowych, które zaplanowali na przyszłość.