Dostrojenie sędziów LLM do polityki oceny człowieka poprzez soft prompt tuning

Naukowcy z arXiv pokazali, że otwarte modele językowe mogą być efektywnie dopasowywane do preferencji człowieka w ocenie jakości chatbotów przy użyciu soft prompt tuning. Problem jest ważny, bo proprietary modele takie jak Claude czy GPT-4 pozostają drogie i trudne we wdrażaniu, a jednocześnie łatwiej niż otwarte modele osiągają wysoką zgodność z ocenami ludzkimi.

Badacze zaproponowali metodę hybrid soft-prompt tuning, która łączy zwykłe prompty tekstowe z nauczanymi ciągłymi embedingami. Trenowali ją na benchmarku FairBotBench, który obejmuje ocenę stronniczości, toksyczności i personalizacji. Wyniki pokazały konsistentne ulepszenia - model Qwen 3.5 9B po dostrojeniu nawet przeskoczył wcześniejsze modele referencyjne we wszystkich trzech wymiarach oceny.

Jest to istotne dla praktycznego zastosowania LLM jako automatycznych sędziów w produkcji. Zamiast płacić za drogie usługi API, można wdrożyć lżejszy model lokalnie i dostroić go do konkretnej polityki oceny danej organizacji. Soft prompt tuning wymaga znacznie mniej zasobów obliczeniowych niż pełne fine-tuning, co czyni metodę szczególnie atrakcyjną dla mniejszych teamów.