Zespół badaczy przedstawił ResonatorLM - mechanizm, który zastępuje standardowy attention w transformerach funkcjami matematycznymi zainspirowanymi fizyką tłumionych rezonatorów. Zamiast klasycznych iloczynów skalarnych attention, model traktuje sekwencje tokenów jako jedno pole latentne napędzane fizyką oscylacyjną. To pozwala lepiej skalować się na długich kontekstach.
Testy przeprowadzone na modelach z 6 milionami parametrów pokazały, że ResonatorLM konsekwentnie przyspiesza zarówno fazę treningu, jak i prefill. Szczególnie imponujące są wyniki dekodowania - przy sekwencjach 32K tokenów model działa 6,47 razy szybciej niż zoptymalizowany transformer. Jednocześnie dokładność na benchmark WikiText skoczyła z 55,32% do 61,31%, co sugeruje, że nowy mechanizm nie handluje precyzją za szybkość.
Problem transformerów z długimi kontekstami od lat nęka branżę - kwadratowa złożoność attention staje się wąskim gardłem. ResonatorLM proponuje odważne podejście: zamiast optymalizować istniejący mechanizm, zamienia go całkowicie. Jeśli wyniki na większych modelach będą równie obiecujące, mogło by to wpłynąć na przyszłe architektury, szczególnie dla aplikacji wymagających przetwarzania długich dokumentów, kodów czy historii konwersacji.