Badacze opublikowali na arXiv framework PlanE - system do planowania i optymalizacji budowy wyspecjalizowanych LLM opartych na ekstrakcji danych. Praca adresuje poważny problem: dostosowywanie dużych modeli do konkretnych zadań zwykle wymaga ogromnych zbiorów danych do instruction tuningu, co generuje znaczące koszty anotacyjne i brakuje systematycznych metod optymalizacji całego procesu.
Framework PlanE obejmuje trzy kluczowe komponenty: dekompozycję danych (rozbicie problemu na mniejsze części), instruction tuning (dostrajanie modelu) i optymalizację inferencji (generowania odpowiedzi). Towarzyszący mu planista Data-Tuning-Inference automatycznie wybiera optymalny model bazowy i najlepsze kombinacje parametrów DTI dla konkretnego datasetu. Eksperymenty wykazały skuteczność podejścia zarówno przy stałym modelu bazowym na różnych datasetach, jak i przy tym samym datasecie z różnymi bazami.
Ważność pracy leży w praktycznym zmniejszeniu kosztów przygotowania LLM do specjalistycznych zastosowań bez kompromisu na wydajności. Metoda pokazuje generalizerowalność pod różne cele optymalizacyjne, a kod jest publicznie dostępny, co ułatwi dalsze badania i implementacje w przemysłowych aplikacjach wymagających szybkiego dostosowania modeli do nowych zadań.