Zespół badawczy opracował SQUELCH, metodę selekcji komponentów dla ekspertów niskorangowych, która rozwiązuje problem niepotrzebnej redundancji w obecnych architekturach LoRA mixture-of-experts. Tradycyjne podejście aplikuje każdy komponent adapter do każdego tokenu, podczas gdy nowsze warianty mixture-of-experts korzystają z routera, który arbitralnie ustala liczbę aktywnych komponentów. SQUELCH proponuje bardziej elastyczne rozwiązanie, gdzie każdy token otrzymuje tyle komponentów, ile naprawdę potrzebuje.
Mechanism polega na trzech kluczowych ideach. Po pierwsze, dla każdego tokenu mierzy się odpowiedzi na komponenty rank-one, które składają się z kilku dużych wartości wyróżniających się na tle Gaussowskiego szumu - szum ten pochodzi z niewtrenowanego adaptera. SQUELCH mięko proguje odpowiedzi tokenu na wielokrotności jego własnego poziomu szumu, co powoduje, że liczba aktywnych rankingów zmienia się dynamicznie. Po drugie, optymalną wielokrotność progu wybiera się za pomocą estymatora ryzyka Steina, eliminując potrzebę ręcznego określania budżetu rankingów. Po trzecie, procedura "explaining away" na macierzy Grama wartości eliminuje redundantne komponenty, które byłyby aktywne jednocześnie, i rekrutuje komplementarne.
Ważne jest, że SQUELCH nie dodaje żadnych nowych parametrów trenowalnych do LoRA - to czysty mechanizm selekcji. Autorzy dostarczyli dowody teoretyczne, że wybrany próg jest risk-consistent i zbliża się w czynnik logarytmiczny do orakulacyjnego przydziału zależnego od wejścia. Eksperymenty na benchmarkach commonsense reasoning, knowledge, matematyce, kodzie i GLUE z LLaMA-3.1-8B pokazują obiecujące rezultaty, sugerując że ta metoda może znacznie poprawić efektywność i wydajność dużych modeli z adaptacją niskorangową.