Jak modele językowe integrują dowody z zewnętrznych źródeł

Badacze z arXiv sformułowali nową teorię dystrybucyjną wyjaśniającą, jak modele językowe integrują dowody dostarczane przez narzędzia, systemy RAG, agentów czy użytkowników. Zamiast traktować dowody jako zewnętrzną weryfikację, teoria pokazuje, że modele przesuwają swoją własną dystrybucję odpowiedzi początkowych w oparciu o wagę wcześniejszą i nachylenie kandydata.

Z badania wyłonęły się trzy główne prawidłowości. Po pierwsze, odpowiedzi bardziej prawdopodobne dla modelu okazują się bardziej przekonujące niż alternatywy. Po drugie, modele znacznie chętniej akceptują błędy charakterystyczne dla siebie niż błędy pochodzące z innych źródeł - pokazując preferencję do własnych wzorów błędów. Po trzecie, ten sam dowód może wspomagać słabsze modele, ale jednocześnie pogarszać wydajność silniejszych modeli.

Experymenty obejmowały dziesięć milionów prób, dwanaście LLM-ów z czterech rodzin i osiem domen, w tym cztery zadania z nauk ścisłych: mechanikę kwantową, fizykę, genetykę i biologię molekularną. Odkrywcze jest, że modele integrują dostarczane kandydaty nawet po wewnętrznym zweryfikowaniu ich nieprawidłowości - w 93-100% przypadków ograniczeń zdaniowych i aż do 99,4% w testach z nauk fizycznych. To sugeruje, że integracja dowodów to nie kwestia skalara zaufania, ale kontrolna polityka specyficzna dla modelu, określona przez jego właściwości.