Naukowcy odkryli fascinujące zjawisko w uczeniu maszynowym - błąd modelu najpierw spada, potem rośnie, a następnie znowu spada wraz ze wzrostem liczby parametrów. To zjawisko, zwane double descent, pojawia się w interpolacji najmniejszych kwadratów, gdy dane zawierają szum lub anomalie. Tradycyjna teoria mówi nam, że więcej parametrów to gorsze wyniki - ale rzeczywistość jest bardziej skomplikowana. Badania wykorzystujące symulacje pokazują, jak modele zachowują się w trzech różnych reżimach: gdy nie mamy wystarczająco parametrów do dopasowania danych, gdy parametrów jest tyle ile danych, oraz gdy parametrów jest znacznie więcej niż obserwacji.
To odkrycie ma potencjał wyjaśnić jeden z największych paradoksów współczesnego AI - dlaczego głębokie sieci neuronowe z milionami lub miliardami parametrów potrafią osiągać znakomite rezultaty, choć teoretycznie powinny się przeuczyć i słabo generalizować. Przez dziesiątki lat uczenie maszynowe opierało się na założeniu, że zwiększanie złożoności modelu powyżej pewnego punktu prowadzi do degradacji wydajności. Double descent zupełnie zmienia tę perspektywę: model może być drastycznie przeparametryzowany, a mimo to działać doskonale.
Zrozumienie tego mechanizmu ma zarówno znaczenie teoretyczne, jak i praktyczne. Dla naukowców oznacza to, że brakuje im głębokich pojęciowych osnów tego, jak uczą się sieci neuronowe. Dla praktyków trenujących modele AI oznacza zaś, że obserwacja wysokiego błędu na zbiorze treningowym nie powinna być wystarczającym powodem do zmniejszania liczby parametrów - czasem trzeba po prostu iść dalej i dodawać więcej mocy obliczeniowej. To może być klucz do lepszego projektowania i tunowania modeli sztucznej inteligencji.