Badacze z arXiv przebadali 44 modele języka na 31 категориях pytań z szerokim spektrum możliwych odpowiedzi. Kluczowe odkrycie: samo polecenie "Reply with JSON only" bez jakiegokolwiek wymuszania schematu czy ograniczonego dekodowania drastycznie zmienia rozkład odpowiedzi. Dominująca odpowiedź wzrosła z 41% do 64% wszystkich modeli testowych, liczba odrębnych zaproponowanych odpowiedzi spadła z 52 do 36, a średnia niespodziewana wartość odpowiedzi (surprisal) zmniejszyła się z 1,80 do 1,58 bitów.
Efekt strukturyzacji jest zdecydowanie asymetryczny. Sześć z 44 modeli zamieniło indywidualnie swoją odpowiedź, wszystkie kierując się w stronę modalnej (dominującej) odpowiedzi. Najmniej zmian było tam, gdzie modele już wcześniej były "konformistyczne". Fenomen dotyczy głównie formatów, których modele były treningowo nauczane mówić - JSON zmniejsza zróżnicowanie o 0,22 bity, XML o 0,19 bity, natomiast YAML i CSV nie wykazują tego efektu. Arbitralny wrapper w nawiasach nawet zwiększa różnorodność o 0,13 bitu.
Badanie ma istotne konsekwencje dla praktyki. Pokazuje, że format odpowiedzi wcale nie jest neutralny - jest to kwestia "rejestrowa", czyli stylistyczno-formatowa. Model Claude może w zwykłej rozmowie nigdy nie wybrać słowa "cerulean" na opisanie koloru, ale w formacie JSON robi to w 100% przypadków. To sugeruje, że instrukcje formatowania głębiej wpływają na semantykę odpowiadania niż się powszechnie zakłada, a aplikacje polegające na różnorodności (takie jak kreatywne generowanie czy badania sociologiczne przez modele) muszą uwzględnić ten efekt.