Naukowcy z arXiv opracowali SemiAdapt-Instruct, innowacyjne podejście do rozszerzania możliwości modeli językowych bez konieczności pełnego przeucza się. Framework funkcjonuje poprzez automatyczne odkrywanie ukrytych domen instrukcji, trenowanie osobnych adapterów LoRA dla każdej domeny i inteligentne kierowanie między nimi bez dodatkowych parametrów. Kluczową zaletą jest możliwość dodawania nowych domen poprzez trening tylko jednego nowego adaptera, bez modyfikacji istniejących komponentów.
Wyniki eksperymentów pokazują, że SemiAdapt-Instruct przewyższa podejście pełnego fine-tuningu w metrykach ROUGE-L i ocenie LLM-as-a-judge, jednocześnie dorównując wydajności pojedynczego LoRA adaptera. To odkrycie ma praktyczne znaczenie dla systemów NLP wdrażanych w zmieniających się środowiskach, gdzie nowe domeny pojawiają się regularnie. Tradycyjne monolityczne modele wymagają pełnego przetrénowania przy każdej zmianie, co jest kosztowne obliczeniowo i czasochłonne.
Badanie ujawniło również, że różne metody niezależnego odkrywania domen zbiegają się w kierunku tych samych domen przyjaznych specjalizacji. To sugeruje, że rozkład heterogenicznych danych instrukcji na ukryte domeny jest naturalnym i efektywnym podejściem do budowania rozszerzalnych systemów NLP. Praktycznie oznacza to, że ewoluujące domeny wymagają tylko celowych aktualizacji pojedynczych adapterów, co eliminuje kosztowne pełne przetreniowania modeli.