Naukowcy opracowali Parallax - nowy mechanizm atencji, który łączy efektywność atencji liniowej z precyzją tradycyjnego softmaxa dzięki dodatkowej gałęzi korekcji kowariancji. Innowacja ta ma potencjał, aby zmienić sposób, w jaki transformery przetwarzają informacje, szczególnie w kontekście rosnących rozmiarów modeli. Parallax działa jako lokalny mechanizm atencji liniowej, co oznacza, że skupia się na fragmentach danych, a nie na całej sekwencji naraz, co drastycznie obniża wymagania obliczeniowe.
Dotychczasowym wyzwaniem w budowaniu wydajniejszych transformerów była sprzeczność między kvalityą a szybkością. Standardowy softmax zapewnia dokładne wyniki, ale wymaga olbrzymich zasobów obliczeniowych, zwłaszcza przy dużych sekwencjach. Atencja liniowa z kolei jest szybka, ale zazwyczaj gorsza w jakości. Parallax rozwiązuje ten problem poprzez zachowanie pełnego softmaxa dla lokalnych fragmentów tekstu i jednoczesne wykorzystanie mechanizmu korekcji kowariancji, który ujednolicuje brakujące informacje. To podejście pozwala na znaczną redukcję zużycia pamięci bez drastycznej utraty jakości.
Znaczenie tej pracy wykracza poza same parametry wydajności. W erze, gdy modele języka rosną w tempie eksponencjalnym, każda optymalizacja pamiętowej i obliczeniowej może być kluczowa dla ekonomiki trenowania. Parallax otwiera ścieżkę do efektywniejszych architektur neuronowych, które będą mogły pracować na słabszym sprzęcie lub przetwarzać dłuższe sekwencje przy tych samych zasobach. To szczególnie istotne dla zespołów badawczych i firm, które chcą trenować modele wysokiej klasy bez dostępu do nieograniczonych budżetów GPU.