Naukowcy przedstawili Fractional-Fourier Mixture of Experts - nowoczesną metodę efektywnego dostrajania dużych modeli językowych, która pozwala sieciom neuronowym samodzielnie decydować, w jakiej dziedzinie matematycznej powinny dokonywać aktualizacji wag. Zamiast zmuszać wszystkie aktualizacje do pracy w jednej ustalonej domenie - czy to przestrzennej (jak w tradycyjnym LoRA), czy fourierowskiej (jak w spektralnych adapterach) - nowa metoda umożliwia każdemu ekspertowi wybranie swojego punktu na kontinuum między tymi dwiema skrajnościami.
Klucz do innowacji leży w ułamkowych transformacjach Fouriera, które mogą stopniowo przechodzić od domeny przestrzennej do fourierowskiej dzięki learnablemu parametrowi skalarnemu dla każdego eksperta. Ponieważ operatory ułamkowych transformacji Fouriera o różnych rzędach są naturalnie niekoherentne, eksperty automatycznie stają się zdekolerowowane, co zmniejsza interferencję między nimi i znacznie usprawnia wielozadaniową kompozycję. Implementacja wykorzystuje efektywny algorytm chirp-FFT o złożoności O(d log d), co oznacza, że dodatkowy koszt obliczeniowy jest znikomy w porównaniu do standardowego podejścia MoE-LoRA.
Wyniki eksperymentów na modelach LLaMA-3.1-8B i Qwen2.5-7B wykazały, że Fractional-Fourier Mixture of Experts poprawia wydajność na benchmarkach obejmujących rozumowanie zdroworozsdadkowe, matematykę, kod oraz wiedzę ogólną, konsekwentnie przewyższając silne baseline'y MoE-LoRA. Podejście otwiera nową perspektywę na dostrajanie modeli, sugerując, że elastyczność wyboru domeny matematycznej - zamiast sztywnego jej narzucania - może prowadzić do bardziej wydajnych i wszechstronnych adaptacji AI.