Nowe badania ujawniają fundamentalne ograniczenie współczesnej teorii generatywnego AI - dotychczasowe gwarancje teoretyczne na temat uczenia rozkładów z n próbek degradują się w tempie O(n^-1/Theta(d)) wraz ze wzrostem wymiarowości d. Naukowcy z arXiv sugerują, że te dolne granice są zbyt pesymistyczne, ponieważ założenia dotyczące gładkości nie wystarczają, by chwycić rzeczywistą strukturę rozkładów pojawiających się w praktyce.
Rozwiązaniem jest wprowadzenie klasy sparse priors - priori nad przestrzenią wszystkich rozkładów, które narzucają strukturalny parcimoniusz. Kluczową metryką jest "Sparse Dimension" (k), mierzący stopień tej sparsywności. Dla k-sparse prior badania pokazują osiągalne dolne granice ryzyka Bayesowskiego na poziomie Omega(sqrt(k/n)), z dopasowanymi górkami granicami aż do logarytmicznych terminów dla TV distance. To reprezentuje zmianę paradygmatu - zamiast walczenia z wymiarowością d, efektywność zależy od sparsywności k, która może być znacznie mniejsza.
Praca dowodzi też statystycznej równoważności między uczeniem rozkładów a uczeniem próbkowania w ustawieniu Bayesowskim, więc wyniki mają szersze zastosowanie. Podczas gdy k może nadal zależeć od d lub pojęcia wymiarowości wewnętrznej, kluczowy wniosek brzmi: odpowiedni prior pozwala przezwycięzyć przekleństwo wymiarowości w zależności od wielkości próby n. To otwiera nowe możliwości dla teoretycznie uzasadnionych modeli generatywnych działających skutecznie w wysokich wymiarach.