Czy modele kwantowe skalują się jak duże modele językowe?

Naukowcy przeanalizowali, czy modele kwantowe podlegają tym samym prawom skalowania co współczesne duże modele językowe. Badali transformer RydbergGPT trenowany na danych pomiarowych z interaktywnych tablic atomów Rydberga - systemu kwantowego wykazującego pozostałości punktu krytycznego przy zmianach parametru detuningii lasera.

Okazało się, że blisko punktu krytycznego strata modelu w funkcji rozmiaru zbioru treningowego dobrze opisywana jest prawem potęgowym ze skorygowaniem dla dolnego pułapu straty - dokładnie tak jak w przypadku dużych modeli języka. Jednak daleko od krytyczności jakość tego opisania znacząco się pogarszała. To sugeruje, że zachowanie skalowania nie jest uniwersalnym свойством modelu, ale zależy od características danych treningowych.

Klucze do zrozumienia znaleźli naukowcy porównując strukturę statystyczną pomiarów kubitów z naturalnymi korpusami tekstowymi. Użyli znormalizowanej entropią i skorygowanej dla skończonych próbek funkcji informacji wzajemnej typu two-point. Okazało się, że statystyka bliska punktu krytycznego najbardziej przypomina strukturę języka naturalnego, podczas gdy konfiguracje kubitów daleko od krytyczności wykazywały szybciej zanikające funkcje two-point. Wynik wspiera hipotezę, że wieloskalowe zależności w danych są fundamentalne dla stabilnego skalowania neuronowych modeli - i że skalowanie należy postrzegać jako właściwość pary model-dane, nie samego modelu.