Hallucination Self-Play: Bootstrap detektora przez ewoluujący generator

Identyfikacja halucynacji w wyjściach dużych modeli jezykowych jest kluczowym wyzwaniem, bo brakuje wysokiej jakości anotowanych danych treningowych. Naukowcy z arXiv wprowadzili framework Hallucination Self-Play (HSP), który rozwiązuje ten problem poprzez iteracyjne doskonalenie detektora i generatora halucynacji. Oba componenty inicjalizowane są z tego samego modelu bazowego, ale pełnią różne role w procesie treningu.

Sposób działania jest elegancki: detektora najpierw fine-tunuje się na danych z ludzkimi adnotacjami, a następnie używa jako reward model do treningu generatora via reinforcement learning from AI feedback (RLAIF). Taki ewoluujący generator produkuje coraz trudniejsze do uchwycenia halucynacje, a syntetyzowane przez niego dane wracają do dalszego optymalizowania detektora poprzez rule-based reinforcement learning. To tworzy pętlę samopolepszającą się, gdzie oba modele rozwijają się razem.

Eksperymenty na benchmark RAGTruth i dwóch rodzinach modeli pokazały, że HSP może progresywnie podnosić możliwości małego LLM do poziomu dorównującego lub nawet przewyższającego zaawansowane modele bez konieczności zewnętrznego nadzoru. Kod badań jest publicznie dostępny, co otwiera drogę do praktycznego zastosowania tej metody w systemach wymagających wysokiej wiarygodności, takich jak chatboty medyczne czy asystenci prawni.