Zespół badaczy zaproponował PAC-Bayes-regularized Meta-LoRA - nową metodę do personalizacji modeli językowych w nowych domenach przy minimalnych danych treningowych. Problem dotyczy sytuacji, gdy chcemy dostosować LLM do preferencji użytkownika w nieznanej dziedzinie, mając zaledwie kilka przykładów interakcji. Dotychczasowe metody albo za mocno dopasowywały się do niewielkiego zestawu danych, albo słabo przenosiły preferencje między domenami, mieszając je z artefaktami z danych źródłowych.
Nowe podejście rozwiązuje te problemy na kilku poziomach. Meta-LoRA uczenia się inicjalizacji LoRA (Low-Rank Adaptation) pełni dwie role - jest zarówno punktem wyjścia adaptacji, jak i punktem referencyjnym dla regularyzacji. Kluczowa innowacja polega na dostrajaniu siły adaptacji na podstawie wielkości zbioru wspierającego i niepewności predykcji modelu. Gdy mamy mało danych, adaptacja jest ostrożna; gdy dane się pojawią, model może mocniej się dostosować. Dodatkowo metoda rozkłada preferencje użytkownika na komponenty: stabilne preferencje koduje jako czytelne dla człowieka prompty, zaś specyficzne dla domeny warunkowanie ukrytych przestrzeni realizuje za pomocą tokenów miękkich zachowujących topologię.
Wyniki eksperymentów na wielu benchmarkach pokazują konsistentne poprawy. Na benchmarku HiCUPID metoda zmniejsza pogorszenie win-rate między domenami o prawie 48 procent względem najlepszych konkurencyjnych rozwiązań i podnosi win-rate o ponad 110 procent w zadaniach z ograniczoną ilością danych. To oznacza znaczący postęp w zdolności modeli do szybkiego nauczenia się indywidualnych preferencji bez utraty ogólności.