Naukowcy przedstawili HELLoRA, nową metodę efektywnego fine-tuningu dla modeli Mixture-of-Experts (MoE) opartą na low-rank adaptation na poziomie warstw. Podejście skupia się na optymalizacji tylko aktywnych ekspertów (gorące eksperty), co znacząco zmniejsza liczbę parametrów do treningu. Ta metoda jest ważna, ponieważ pozwala na adaptację dużych modeli MoE przy znacznie niższych kosztach obliczeniowych, co czyni zaawansowane modele bardziej dostępnymi dla badaczy i aplikacji praktycznych.