Rekurencyjne trenowanie modeli języka na ich własnych wynikach generacji to fenomen znany w badaniach nad model collapse. Zespół arXiv odkrył, że tego procesu nie można opisywać jedną metryką - zamiast tego pojawia się uporządkowana sekwencja przejść różnych miar entropii Renyi'ego. Trenując GPT-2 przez dziewięć generacji i zmieniając temperaturę próbkowania, obserwowali, jak najpierw zmienia się entropia minimalna, następnie entropia kolizji, entropia Shanona i ostatecznie obserwowana bogactość słownika.
Najfascynujące odkrycie dotyczy okresu pośredniego między tymi przejściami. W tym interwale słownik kurczy się (generacja 9 ma 24 procent mniej typów słów niż generacja 0), ale jednocześnie dominacja najczęstszych słów - głównie słów funkcyjnych - słabnie, a entropia kolizji rośnie o 0.91 bita. To oznacza, że zmniejszenie rozmiaru słownika wcale nie idzie w parze z większą uniformnością rozkładu. Zjawisko to utrzymuje się stabilnie przy wariancie z szeroką siatką temperatur, różnych sampleach, ograniczonym budżecie słownika i pięciu niezależnych ziarnach losowości.
Badacze przetestowali uporządkowanie entropii Renyi'ego w czterech dodatkowych wariantach GPT-2 i 12 z 13 różnych pomiarów przy ośmiu reprezentacjach tekstu. Rezultaty sugerują, że kolejność przejść to nie artefakt specyficznych ustawień, ale fundamentalna własność self-trainingu. Autorzy podkreślają, że żaden pojedynczy znak entropii nie może niezawodnie identyfikować gorsze likelihood modelu, dlatego rekomendują raportowanie pełnych profili entropii przy wyraźnie określonych budżetach.