Badacze z arXiv opisali problem polegający na tym, że duże modele językowe wykazują niekonsekwencję: ten sam model może wygenerować poprawną odpowiedź, a następnie odrzucić tę samą odpowiedź, gdy zostanie poproszony o jej weryfikację. To zjawisko zwane generator-validator gap utrudnia tworzenie spójnych systemów AI.
Problem wynika z tego, że modele przypisują niskie prawdopodobieństwo ważnym stringom tekstowym tylko dlatego, że statystycznie są one rzadkie w danych treningowych. Naukowcy wprowadzili nową formułę mierzącą spójność generator-validator z korekcją częstości - biorącą pod uwagę, że walidator powinien akceptować to, co generator mógłby wyprodukować, jeśli został wyśrodkowany na prawidłowe odpowiedzi.
Metoda FCPA stanowi konkretny cel treningowy wdrażający tę korekcję w rzeczywistych modelach. Wyniki pokazują znaczne ulepszenia - wzrost zgodności nawet do 27 punktów procentowych na IFEval i HumanEval, przy jednoczesnym zachowaniu jakości walidacji. To może prowadzić do bardziej niezawodnych systemów AI, szczególnie w zadaniach wymagających logicznej spójności między generowaniem a oceną odpowiedzi.