Zespół naukowców postanowił zbadać, czy modele językowe popełniają więcej błędów, gdy napotykają dane, które wydają się im nielogiczne lub niezgodne z ich wiedzą. Problem ten ma duże znaczenie dla systemów takich jak retrieval-augmented generation czy automatyczne generowanie tekstu z danych strukturalnych, gdzie dokładne przełożenie faktów na słowa jest kluczowe.
W badaniu zastosowano bezpośrednią metodę - modele generowały teksty w języku angielskim, czeskim, słowackim i gornośrbskim na podstawie tzw. trójek RDF (strukturalnych opisów danych). Niektóre trójki zawierały fakty rzeczywiste, inne zaprzeczały rzeczywistości (kontrfaktyczne), a jeszcze inne były całkowicie zmyślone. Kluczową innowacją było użycie lokalnej wiedzy dotyczącej Czech i Słowacji - informacji tylko częściowo reprezentowanych w parametrach modeli, co pozwoliło lepiej wychwycić rozbieżności.
Rezultaty przyniosły zaskoczenie. Model Kimi K3, który dobrze zgadzał się z ocenami człowieka, przyznawał prawie takie same wyniki wiarygodności dla danych faktycznych i kontrfaktycznych - różnica wynosiła zaledwie -0,05 w skali 1-5 punktów. Oznacza to, że oczekiwany konflikt między pamięcią modelu a instrukcjami wejściowymi okazał się zaskakująco słaby. Badacze zaznaczyli też ważne zastrzeżenie: wybór modelu oceniającego ma ogromny wpływ na interpretację wyników - zła ocena mogłaby zasugerować znacznie silniejszy efekt.