Modele językowe w systemach produkcyjnych nie piszą artykułów - wypełniają formularze: pola JSON, argumenty funkcji, szablony ekstrakcji danych. Nowe badanie ujawnia, że sam format formularza powoduje halucynacje, a wymóg wypełnienia pola zmusza model do wymyślania odpowiedzi nawet gdy nie dysponuje niezbędnymi informacjami.
Badacze testowali 13 modeli na identycznych pytaniach dotyczących tych samych danych, zmieniając wyłącznie format odpowiedzi. Dane były konstruowane tak, by pytania były niemożliwe do udzielenia - na przykład post z 12400 polubień ale bez widocznych odpowiedzi, czy zgłoszenie serwisowe z nigdy przepisanym głosem klienta. W trybie tekstu wolnego GPT-4.5 odpowiadał uczciwie, stwierdzając brak danych w 98 procent przypadków. Ale gdy pojawił się obowiązkowy field JSON dla sentymentu, ten sam model wymyślał odpowiedź we wszystkich 40 testach. Wśród 13 testowanych modeli, wymóg wypełnienia pola doprowadził do całkowitej fabrytkacji (100 procent złych odpowiedzi) u dziesięciu z nich. Nawet oferując opcję "niewystarczające dowody" uratowało to jedynie modele frontierowe - wszystkie dziewięć otwartych modeli zignorowało ten wybór.
Problem jest szczególnie poważny, bo halucynacje ukrywają się dokładnie tam, gdzie zastrzeżenia są niemożliwe - w obowiązkowych enumach i tablicach z minimalną liczbą elementów. Badacze pokazali że instrukcja "nie wnioskuj sentymentu" jest przesłaniana schematem w czterech z sześciu testowanych modeli. Interesujące jest, że uczciwość pod presją formatu nie rośnie ze skalą - wśród tej samej rodziny modeli, najmniejszy odmawia hallucynacji, średni wymyśla odpowiedzi, a największy znowu odmawia. To wskazuje, że uczciwość pod presją formatu to wynik treningowy, który nikt aktualnie nie mierzy.