Naukowcy formalnie zanalizowali problem klasyfikacji odpowiedzi dużych modeli językowych poprzez modelowanie osadzeń tokenów jako trajektorii systemów dynamicznych. Okazuje się, że błąd klasyfikacji maleje wykładniczo wraz ze wzrostem długości sekwencji L, przy czym tempo spadku zależy od wielkości zwanej dyskryminowalnością dynamiczną delta-kwadrat, która oddaje spektralną odległość między dwoma porównywanymi systemami dynamicznymi.
Badania ujawniły ważny teoretyczny wgląd: całkowita odległość wariacji między rozkładami stacjonarnymi dwóch systemów dynamicznych może być dowolnie mała, nawet gdy dynamika istotnie się różni. To implikuje fundamentalną dolną granicę dokładności dla każdego klasyfikatora, który ignoruje dynamikę tokenów. Wyjaśnia to, dlaczego klasyczne podejścia mogą zawodzić - same rozkłady stacjonarne to za mało informacji.
Artykuł charakteryzuje też transfer tej metody między różnymi modelami osadzeń, wprowadzając przybliżony warunek intertwining i wyprowadzając dolną granicę dla przenośnej dyskryminowalności w funkcji najmniejszej wartości osobliwej mapy intertwining. Te formalne wyniki wyjaśniają empiryczne sukcesy podejścia opartego na systemach dynamicznych i dostarczają teoretycznego fundamentu do dalszego rozwoju bardziej niezawodnych metod klasyfikacji LLM-ów.