Supervised fine-tuning powoduje zawężenie się spektrum akcji wybieranych przez duże modele językowe w zadaniach sekwencyjnego podejmowania decyzji, bez gwarancji poprawy ich dokładności. Naukowcy testowali to zjawisko na kontrolowanym zbiorze deterministycznych gier planszowych opartych na wariantach kółka i krzyżyka, gdzie mogą dokładnie obliczyć optymalne posunięcia i mierzyć różnorodność akcji modelu. Stwierdzili, że reasoning mode - tryb, w którym model ma większe możliwości - bardzo często tłumi różnorodność działań bez jednoczesnej poprawy ich trafności. Standard SFT wprawdzie zwiększa dokładność, ale często prowadzi do przedwczesnego kolapsu różnorodności, który wykracza poza wymogi rzeczywistego trade-offu między dokładnością a różnorodnością.
Problem tkwi w naturze imitacyjnego trenowania na węskich zbiorach akcji. Model uczy się nie tyle wykonywania optymalnych ruchów, ile kopiowania jednej konkretnej sekwencji demonstrowanej w danych treningowych. Kiedy pojawia się wiele równoprzypadkowych optymalnych ruchów w danym stanie gry, model zamiast zrozumieć tę równoprzypadkowość, uczy się sztywnej ścieżki decyzyjnej. Naukowcy wykazali, że action augmentation - trenowanie modelu na wszystkich możliwych optymalnych akcjach dla każdego stanu zamiast na pojedynczej akcji - częściowo łagodzi ten efekt. To wskazuje, że zachowanie szerokiego wsparcia dla różnych akcji podczas SFT jest krytyczne dla utrzymania eksploracyjnego zachowania modelu w grach i potencjalnie w innych zadaniach sekwencyjnego podejmowania decyzji.