Naukowcy odkryli, że wymuszanie na modelach językowych generowania tekstu w ścisłej strukturze - na przykład w formacie JSON czy XML - może paradoksalnie pogorszyć jakość ich odpowiedzi. Zespół badawczy przeanalizował, jak ograniczenia narzucane na wyjście wpływają na małe modele jezykowe, koncentrując się na kompromisie między formalną poprawnością a rzeczywistą merytoryczną wartością generowanego tekstu. Okazuje się, że kiedy model musi zarazem trzymać się ścisłych reguł składni, traci zdolność do precyzyjnego wyrażania myśli i popełnia więcej błędów merytorycznych.
Wyniki mają praktyczne znaczenie dla każdego, kto buduje systemy AI wymagające sformalizowanych odpowiedzi. W praktyce oznacza to, że system mogący wygenerować poprawny JSON-a wcale nie gwarantuje, że informacje wewnątrz tego JSON-a będą dokładne czy przydatne. Badanie pokazuje, że deweloperzy muszą świadomie wybierać, jak restrykcyjne mają być narzucane ograniczenia - zbyt surowe mogą skutecznie sparaliżować zdolności inferencyjne modelu, podczas gdy zbyt liberalne mogą skutkować chaotyczenym wyjściem.
Odkrycia otwierają drogę do inteligentniejszego projektowania systemów AI. Zamiast bezrefleksyjnie narzucać wszystkie możliwe ograniczenia, inżynierowie mogą teraz bardziej precyzyjnie kalibrować poziom restrykcji w zależności od konkretnego przypadku użycia. Oznacza to, że w niektórych scenariuszach lepiej pozwolić modelowi na większą elastyczność w formacie wyjścia, a następnie przepuścić je przez oddzielny walidator, niż od razu blokować go sztywnymi regułami. To podejście mogłoby znacząco poprawić praktyczną użyteczność małych modeli w produkcyjnych aplikacjach.