Duże modele językowe coraz częściej wykorzystywane są do symulowania zróżnicowanych opinii w otwartych zadaniach takich jak badania syntetyczne czy prognozowanie opinii publicznej, ale wciąż borykają się z naturalną tendencją do homogenizacji odpowiedzi. Naukowcy zdecydowali się na systemowe zbadanie, które interwencje naprawdę działają, zamiast oceniać je w izolacji.
Team przeprowadził eksperyment faktorialny testujący dwa główne wymiary: głębokość persona oraz architekturę interakcji. Każdy warunek ewaluowano na 100 rzeczywistych pytaniach otwartych zadanych siedmiu modelom, używając wielorakich metryk do pomiaru różnorodności. Kluczowym odkryciem jest to, że sama zmiana persona z minimalnej na bardziej szczegółową już generuje większość zysku w różnorodności. Dalsze dodawanie szczegółów demograficznych konsekwentnie nie pomaga i czasami zmniejsza różnorodność na niektórych modelach.
Drugą część ustalenia stanowi obserwacja, że różne architektury interakcji eksplorują głównie różne regiony przestrzeni opinii. Zamiast szukać jednej najlepszej architektury, kombinowanie wielu podejść wydaje się bardziej obiecujące. Badanie demaskuje kilka wspólnych założeń przyjmowanych w praktyce - między innymi tezę że więcej danych zawsze prowadzi do lepszych wyników. Dla praktyków projektujących syntetyczne sondaże czy modele group focusowe oznacza to, że zamiast komplikować persona czy architekturę, warto fokusować się na świadomym wyborze kilku dopełniających się metod.