Badacze przeanalizowali, jak model DeepSeek ocenia jakość pisarstwa, wyodrębniając z jego procesu rozumowania ukrytą teorię tego, co czyni tekst dobrym. Na zbiorze benchmark z 30 rzeczywistymi tekstami rozciągającymi się od literatury klasycznej po anonimowe posty internetowe, model osiągnął średnią dokładność 79,3 proc. w klasyfikacji jakości. Ślady rozumowania ujawniły spójną i jawnie stwierdzoną teorię - LLM wyraźnie ceni intencjonalność i rzemiosło nad czystą poprawność gramatyczną, priorytetyzując głębię myśli i odrębny głos autora.
W drugiej części badania naukowcy systematycznie degradowali pięć kanonicznych fragmentów prozy, stosując sześć rodzajów manipulacji: uproszczenie słownictwa, spłycenie rytmu, usunięcie metafor, uogólnienie głosu, uproszczenie struktury i kombinacje tych zmian. Wyniki były jasne - uproszczenie słownictwa powodowało najmniejszą utratę oceny jakości (0,41 punktu), podczas gdy zmiana struktury (2,78 punktu) i głosu (2,34 punktu) działały druzgocąco. Kombinacja wszystkich degradacji uderzyła z siłą -5,64 punktu, ale efekty nie były w pełni addytywne.
To badanie ma znaczenie dla zrozumienia tego, jak sztuczna inteligencja ocenia jakość tekstów i może poprawić narzędzia do automatycznej ewaluacji pisarstwa. Wyniki sugerują, że LLM-y mają bardziej subtelne pojęcie doskonałości literackiej niż się powszechnie zakłada - skupiają się na elementach związanych z autorstwem i intencjonalnością, a nie tylko na powierzchniowych cechach językowych. Wstępne porównanie z innym modelem Qwen QwQ pokazało podobne szerokie wzorce, co wskazuje, że te preferencje mogą być uniwersalne dla zaawansowanych systemów AI.