Naukowcy opracowali metodę przekształcenia mechanizmu attention w transformerach poprzez rozwinięcie jądra wykładniczego w truncated Taylor series. Zamiast obliczać pełną macierz attention o rozmiarze N na N, algorytm zapamiętuje dokładnie n stanów rekurencyjnych, gdzie każdy stan jest aktualizowany pojedynczym outer product dla każdego nowego tokena. Podejście jest niezależne od długości sekwencji N i pozwala na równoległy scan podczas fazy prefill.
Wydajność praktyczna jest znacząca - przy długości sekwencji 8192 tokenów metoda jest szybsza o 20,8 razy, a przy 65536 tokenach przyspieszenie sięga 76 razy dla latencji dekodowania pojedynczego tokena (stała 7,3 mikrosekundy wobec N^1,04 dla softmax). Złożoność czasowa spadła z N^2,28 dla softmax na N^0,91 dla proponowanego podejścia, z punktem przejścia wokół 728 tokenów. Dokładność numeryczna jest niezwykle wysoka - błąd rekurencji wynosi 2,2x10^-16 w double precision, a błąd addytywności stanów 5,7x10^-14.
Optymalna liczba stanów to n=3, która wynika z trade-off między dokładnością exponentialnie rosnącą w n a szybko rosnącym rozmiarem stanów kombinatorycznie - m-ty stan ma szerokość (d+m-1 po m) elementów. Ważnym warunkiem powodzenia metody jest normalizacja query i key - bez niej argument szeregu Taylora przekracza promień zbieżności i dodawanie kolejnych terminów przestaje poprawiać wyniki.