Zespół naukowców zaprezentował HyenaND, nowy typ operatora o złożoności podkwadratowej, który rozwiązuje problem przetwarzania wielowymiarowych danych bez konieczności konwersji ich do formatu jednowymiarowego. Problem tradycyjnego podejścia polega na tym, że standardowe sploty brakuje globalnego zakresu receptywnego i zależności od danych, a modele rekurencyjne zmuszają do dziwacznego "skanowania" obrazów, tomografii czy równań różniczkowych cząstkowych w dowolnie wybranej kolejności, co narusza ich naturalną strukturę przestrzenną.
HyenaND działa bezpośrednio na natywnej geometrii danych wielowymiarowych poprzez sploty z jądrami globalnymi i zależnymi od danych wejściowych. Autorzy opracowali specjalizowaną implementację CUDA o nazwie nSubQ, która fuzjonuje ścieżkę FFT-convolution, by przekształcić teoretyczną złożoność O(L log L) w praktyczne przyspieszenia na sprzęcie. Algorytm testowano na różnorodnych zadaniach: genomice z długim kontekstem, wizji komputerowej, obrazowaniu medycznym i modelowaniu równań różniczkowych cząstkowych.
Wyniki pokazują, że czyste stosy HyenaND uzyskują dokładność porównywalną z mocnymi bazami opartymi na mechanizmie attention. Jeszcze lepsze rezultaty dają konfiguracje hybrydowe przeplatające warstwy HyenaND z warstwami attention - przewyższają one zarówno czystą attention jak i inne podejścia oparte na rekurencji. To oznacza potencjał dla bardziej efektywnych modeli na długich sekwencjach wielowymiarowych danych, szczególnie ważny dla zastosowań wymagających przetwarzania dużych ilości informacji.