Zespół badawczy wprowadził benchmark Neo-Classic, który stawia nowe wyzwania przed modelami językowymi w ocenie ich zdolności do rozumienia chińskiej poezji klasycznej poprzez kombinację originalno generowanych tekstów współczesnych ekspertów z pakietem testów zwrotnych. Tradycyjne benchmarki opierały się na weryfikacji lub generowaniu historycznych dzieł, co pozwalało modelom na opieranie się w dużej mierze na wzorcach z danych treningowych, bez rzeczywistego rozumienia zasad estetyczno-lingwistycznych. Neo-Classic eliminuje tę lukę poprzez użycie ściśle metrycznych wierszy napisanych przez współczesnych specjalistów, co znacząco zmniejsza możliwość bezpośredniego pobierania z materiałów treningowych.
Wyniki ewaluacji ujawniły dwie znaczące słabości obecnych zaawansowanych modeli. Po pierwsze, wydajność spadła o 20 do 50 procent, gdy modele przeszły z analizy tekstów historycznych na współczesne - wskazując, że models mocno polegają na znanych wzorcach z danych treningowych. Po drugie, wszystkie testowane modele wykazały poważne trudności w zadaniach wymagających porządkowania na poziomie dyskursu, gdzie dokładność wyniosła zaledwie 0 do 13 procent. Nawet gdy eksperckie wskazówki wspierały modele wzmacniane rozumowaniem, osiągniętą wydajność wynosiła jedynie 36 procent, zostawiając znaczną lukę w stosunku do zdolności ekspertów ludzi.
Te odkrycia dowodzą, że podczas gdy aktualne LLM-y potrafią wychwycić lokalne wzorce formalne i metryczne w chińskiej poezji klasycznej, poważnie borykają się z globalnym planowaniem hierarchicznym oraz długoterminową spójnością tekstu. Stanowi to ważne wskazanie dla przyszłych badań nad poprawianiem zdolności modelów do głębszego, bardziej transferowalnego rozumienia zadań wymagających kombinacji formalno-lingwistycznych i estetycznych zmysłów.