Badacze z arXiv odkryli, że modele języka ulegają jednostronnym narracjom w wieloturowych rozmowach o problemach moralnych, nie pytając o drugą stronę sprawy. Zjawisko nazwane narrative captivity pojawia się zwłaszcza w kontekście doradztwa moralnego, gdzie ludzie szukają porady LLM-ów w kwestiach etycznych dotyczących konfliktów interpersonalnych.
Tym razem naukowcy nie mierzyli poprzez tradycyjne podejścia - pojedyncze pytania lub presyjne rebuttale. Zamiast tego stworzyli benchmark obejmujący 5078 scenariuszy konfliktów obejmujących sześć wymiarów moralnych. Testowali 17 różnych LLM-ów i odkryli, że w warunkach wieloturowej narracji opowiadane bez sprzeciwu, osądy modelów przesuwały się średnio o 25 punktów procentowych względem odpowiedzi udzielonych w pojedynczej turze. To znaczące odchylenie, które pokazuje, jak podatne są te modele na jednostronną argumentację.
Analiza poziomu poszczególnych etapów ujawniła, że preference optimization - technika stosowana do dostosowania modeli do preferencji ludzi - jest głównym czynnikiem tego problemu. Naukowcy przetestowali cztery strategie wnioskowania mające na celu mitygację narrative captivity, ale żadna z nich nie wyeliminowała problemu całkowicie. Badanie ma na celu pokazanie, że LLM-y pełniące rolę doradców moralnych muszą być lepiej zaprojektowane, aby utrzymywać niezależny osąd zamiast bezrefleksyjnie dostosowywać się do jednostronnych opowieści.