Naukowcy opracowali Hallucination Self-Play (HSP), nowy framework do wzmacniania zdolności LLM-ów do wykrywania zmyśleń w swoich odpowiedziach. Problem polega na braku wystarczającej ilości wysokiej jakości danych treningowych etykietowanych przez ekspertów. Dotychczasowe podejścia polegały na wykorzystaniu zaawansowanych modeli do syntetyzacji danych treningowych, ale traktowały generator jako statyczny komponent, co ograniczało iteracyjną poprawę detektora.
HSP rozwiązuje to poprzez wprowadzenie dwóch ról inicjalizowanych z tego samego modelu bazowego: detektora oceniającego wiarygodność odpowiedzi oraz generatora produkującego coraz trudniejsze do wykrycia hallucynacje. Najpierw detektor jest fine-tunowany na danych etykietowanych przez ludzi, a następnie pełni rolę modelu nagród do trenowania generatora przy użyciu reinforcement learning from AI feedback (RLAIF). Z kolei ewoluujący generator syntetyzuje dane o hallucynacjach, które dalej optymalizują detektor poprzez rule-based reinforcement learning.
Eksperymenty na benchmarku RAGTruth oraz na dwóch rodzinach modeli wykazały, że framework HSP może progresywnie poprawiać zdolności małego LLM-u do poziomu zaawansowanych modeli bez potrzeby zewnętrznego nadzoru. Wyniki mają znaczenie dla praktycznych zastosowań LLM-ów, gdzie zaufaność i dokładność generowanych odpowiedzi są krytyczne.