Zespół badawczy zaproponował baseVultra - innowacyjną architekturę komórki rekurencyjnej, która zmienia sposób, w jaki rozkładane są zasoby obliczeniowe w sieciach do modelowania sekwencji. Zamiast tradycyjnego podejścia LSTM i GRU, które równomiernie alokują parametry na bramki i generowanie kandydatów, baseVultra skupia gęstą macierz o wymiarach H x H na generowaniu kandydatów, zastępując macierze bramek lekką O(H) interakcją diagonalną. Sieć dodatkowych czynników obejmuje pamięć EMA, gałęzie niskiego rangu i nauczalne mieszanie wyjścia.
Wyniki eksperymentów pokazują, że podejście to sprawdza się szczególnie dobrze w warunkach ograniczonej pojemności. Na zadaniu modelowania charakterów TinyShakespeare z konfigurацją 200K parametrów baseVultra uzyskał loss walidacji 1.594 wobec 1.604 dla dopasowanego parametrowo LSTM i 1.616 dla GRU. Obliczeniowo wymaga tylko około 54 procent operacji macierzowych w stosunku do GRU przy tej samej wielkości ukrytych stanów. Na większym zbiorze text8 rezultaty pozostają konkurencyjne: 1.854 bitów na znak w baseVultra wobec 1.849 dla GRU i 1.837 dla LSTM.
Największe różnice pojawiają się w formalnych testach zdolności sieciowych przy małych wymiarach ukrytych stanów - na zadaniu Counter z H=16 baseVultra osiąga 0.991 dokładności zamiast 0.761 dla GRU i 0.691 dla LSTM na danych spoza rozkładu treningowego. Wyniki sugerują, że realokacja pojemności od bramek w stronę generowania kandydatów ma największą wartość dla kompaktnych modeli przeznaczonych do streamingowego przetwarzania sekwencji, gdzie zasoby są ograniczone.