Badacze wprowadzają Toeplitz MLP Mixers, nową architekturę modelu, która łączy struktury Toeplitza z MLP Mixer w celu przetwarzania sekwencji danych. Architektura charakteryzuje się niską złożonością obliczeniową przy zachowaniu wysokiej wydajności w kodowaniu informacji. Wyniki pokazują, że podejście to może stanowić efektywniejszą alternatywę dla tradycyjnych transformerów w niektórych zadaniach, szczególnie gdy zasoby obliczeniowe są ograniczone.
Badania
arXiv CS.LG