Jie Tang, szef Z.ai, zmienia paradygmat jak myślimy o wielkości modeli AI. Parametry przestały być wystarczającym wskaźnikiem - trzeba też wiedzieć ile danych użyto do treningu, jak rozdzielono moc obliczeniową i w jakich warunkach model będzie pracować. To znaczący zwrot w dyskusji o skalowaniu modeli, która przez lata krążyła wokół klasycznego prawa Chinchilla.
GLM 5.3 pokazał skok wydajności osiągnięty zupełnie inną ścieżką niż zwykle się tego oczekuje. Zamiast zwykłego zwiększania parametrów lub danych treningowych, model trenowano za pomocą wzmacniającego uczenia na symulowanych długoterminowych zadaniach. Te środowiska testowe odwzorowują rzeczywiste przepływy pracy - ingenieria, badania - z zadaniami trwającymi czasem kilka dni, jak na przykład prace nad infrastrukturą ML gdzie model ma dostęp do klastrów obliczeniowych, systemów przechowywania i wewnętrznej dokumentacji.
Reasumowanie wymaga innych strategii niż memoryzacja. Podczas gdy zapamiętywanie faktów preferuje więcej parametrów, rozumowanie logiczne czerpie siłę z większej ilości danych post-treningowych i głębszych struktur uczenia. To wyjaśnia dlaczego starsze metryki oparte na stosunku parametrów do danych już nie wystarczają - współczesne modele to całe ekosystemy optymalizacyjne, a liczba parametrów to tylko jeden z czterech kluczowych wymiarów.