Badanie opublikowane na arXiv pokazuje, że popularne podejście do personalizacji zamrożonych dużych modeli językowych (LLM) poprzez meta-learning w przestrzeni prompt'ów ma fundamentalny problem - optymalizowane strategie nie przenoszą się efektywnie na nowych użytkowników. Zespół badaczy opracował system Muse (Meta-learned User-adaptation via Shared Evolution), który ewolucyjnie doskonali wspólny prompt adaptacyjny na grupie użytkowników treningowych, a następnie stosuje go do użytkowników testowych.
Wyniki na benchmarkach LaMP-2 (kategoryzacja) i LaMP-3 (ocenianie) obejmujące ponad 200 niewidzianych wcześniej użytkowników były rozczarowujące - Muse nie przyniósł istotnej poprawy w stosunku do nieoptymalizowanego bazowego prompt'u. Na zadaniu ratingowania zwykłe few-shot retrieval osiągnęło lepsze wyniki, a kontrolne eksperymenty z nieprawidłowymi parami użytkownik-dane pokazały, że meta-walidacyjna funkcja celu stała się statystycznie niezmienna - czyli nie potrafiła rozróżnić między autentyczną adaptacją a losowymi kombinacjami. Badacze nazwali ten fenomen meta-objective collapse.
Odkrycie ma poważne implikacje dla kierunku badań nad personalizacją LLM. Sugeruje, że dotychczasowe sukcesy meta-learningowych podejść mogą być artefaktem - efektem ogólnie lepszych instrukcji zamiast rzeczywistej zdolności modelu do adaptacji na nowych użytkownikach. Artykuł stanowi negatywny wynik, który jednak warty jest uwagi, ponieważ zmusza badaczy do ponownego rozważenia, czy framework meta-learning w prompt-space jest właściwym kierunkiem dla budowy personalizowanych systemów.