NVIDIA przyjęła strategię pełnego kodesignu, aby maksymalizować efektywność pamięci w systemach AI zamiast po prostu dodawać więcej pojemności. Rosnący rozmiar modeli, dłuższe konteksty i aplikacje agentowe zwiększają ciśnienie na pamięć GPU, podczas gdy podaż słabnie, a ceny rosną. NVIDIA jako pierwsza wdrożyła technologie HBM3e i HBM4 do swojego stosu przyspieszającego obliczenia, ale klucz do rozwiązania problemu leży w harmonijnym projektowaniu GPU, CPU, sieci, magazynowania i oprogramowania jako jednej całości.
AI factory opiera się na hierarchii pamięci i magazynowania. Pamięć HBM na GPU jest najszybsza, najdroższa i najbardziej nachalna - wagi modelu i cache KV konkurują o ograniczoną pojemność. Poniżej znajduje się pamięć CPU, lokalne SSD i magazyn udostępniony, każdy zamieniając szybkość na większą pojemność przy niższym koszcie za bit. Efektywność zależy od tego, jak dobrze wykorzystuje się całą hierarchię: zmniejszenie tego, co trzeba przechowywać, umieszczenie danych na odpowiedniej warstwie i sprowadzenie ich do GPU przed ich potrzebą.
Wyniki pokazują znaczenie tego podejścia. Od Blackwell Ultra do platformy Vera Rubin pojemność HBM na GPU wzrosła zaledwie o 3 procent, ale przepustowość agentowa na dollar zwiększyła się aż o 30 razy według benchmarku SemiAnalysis AgentX. Ta dysproporacja pokazuje, że prawdziwy postęp nie pochodzi z surowego dodawania pamięci, ale z inteligentnego projektowania całego systemu.