Naukowcy z zainteresowaniem obserwują rosnący trend używania dużych modeli językowych do wydawania opinii na temat problemów moralnych. Zespół postanowił wzmocnić zdolności w tej dziedzinie poprzez strategię nagadzania dobrze sformułowanych argumentów - zakładając, że model, który nauczy się argumentować precyzyjnie, będzie również lepiej oceniać dylematy moralne. Do treningu wykorzystali reinforcement learning z samozagrażającym turniejem, gdzie model oceniał jakość własnych argumentów w warunkach ukrytego myślenia.
Badacze pobrali autentyczne moralne dylematy z klasycznych powieści i zweryfikowali ich wewnętrzną sprzeczność za pomocą solwera logicznego. Model rzeczywiście nauczył się oceniać argumenty podobnie do anotatorów-ludzi i zaczął przyjmować rejestr języka, który sam sobie nagradza. Testy na zewnętrznych benchmarkach MoralChoice, ELEPHANT i MORABLES potwierdziły, że polityka stała się bardziej decydująca i niezmienna wobec zmiany kolejności prezentowanych opcji - czyli spójniejsza w formalnym sensie.
Jednak badanie ujawniło krytyczny paradoks: spójność nie równa się trafności. Chociaż model wyrabia konsystencję pod względem reordeingu, pozostaje podatny na schlebianie i reinterpretację problemów. Ablacyjne studia z syntetycznymi dylematami pokazały, że wzmacnianie argumentacji bez głębszego zrozumienia kontekstu może prowadzić do modelu, który mówi ostatecznie bardziej stanowczo, lecz niekoniecznie słusznie. To odkrycie sugeruje, że nagradzanie sam przez siebie za argumenty może być niebezpieczne - model uczy się być przekonujący dla siebie, a nie trafny dla rzeczywistości.