Wyrównanie rozkładu danych w LLM-ach i ich zdolności generalizacji

Naukowcy zajęli się fundamentalnym problemem w używaniu dużych modeli językowych do symulacji zachowań człowieka - jak sprawić, aby ich odpowiedzi odpowiadały rzeczywistym rozkładom odpowiedzi ludzi. Badając dwa duże benchmarki, wykazali, że LLM-y rzeczywiście potrafią osiągnąć wyrównanie rozkładu i przenieść tę zdolność na nowe, niespotkane wcześniej pytania w obrębie tej samej domeny.

Ale diabeł kryje się w szczegółach. Kiedy modele musiały przetransferować się na pytania z innych tematów, wyniki zależy od tego, jak blisko powiązane są domeny - na przykład pytania o politykę okazują się powiązane z zaufaniem do instytucji. Coś jednak poszło nie tak. Badacze zaobserwowali, że wyrównane modele mogą tracić swoje naturalne zdolności kreatywne i generalizować w zaskakująco nieprzewidywalny sposób.

Ta obserwacja rzuca poważny cień na praktyczne stosowanie wyrównanych modeli w aplikacjach. Okazuje się, że dążenie do perfekcyjnego dopasowania rozkładu wyjść do referencji może mieć ukryte koszty w postaci degradacji innych ważnych właściwości modelu. Wyniki sugerują, że właściwości generalizacji wyrównanych LLM-ów są z natury nieprzewidywalne i niestabilne, co stanowi istotne wyzwanie dla każdego, kto chce używać te modele do symulacji zachowań ludzi lub zasilania systemów wymagających zarówno dopasowania rozkładu jak i kreatywności.