Karta graficzna z 24GB VRAM jest dziś praktycznym minimum dla poważnej lokalnej pracy z dużymi modelami językowymi. RTX 3090 i RTX 4090 stanowią nowy standard dla hobbyistów chcących uruchamiać zdolne modele na swoim sprzęcie. Stara taktyka maksymalizacji poprzez wetknięcie największych dostępnych modeli 70B na kartę jest już nieaktualna - bardziej efektywna strategia na 2026 rok opiera się na wyborze nowoczesnych modeli klasy 20B-35B, które czyszczą się na karcie i zostawiają znaczną rezerwę na kontekst.
Pamięć VRAM podczas inferencji konsumowana jest przez trzy główne elementy. Pierwszy to wagi modelu, których rozmiar zależy od liczby parametrów i quantizowania - przy powszechnym domyślnym Q4_K_M każdy parametr zajmuje około 0,58 bajta, więc model 32B wymaga około 18-20GB samych wag. Pułapka dotyczy modeli MoE (Mixture-of-Experts) typu Mixtral, gdzie każdy expert pozostaje rezydentny w VRAM niezależnie od tego, ile routuje się per token - dlatego trzeba kalkulować na podstawie wszystkich parametrów, nie tylko aktywnych. Drugi element to KV cache, który rośnie wraz z długością kontekstu. Trzeci to runtime overhead samego stosu obsługującego - zasadą kciuka jest dodanie 1-2GB na KV cache i overhead przy krótkim kontekście.
Quantizowanie to główna dźwignia kontroli wykorzystania pamięci. Wybór między Q4_K_M, Q5_K_M czy innymi formatami bezpośrednio wpływa na to, jak dużo miejsca zostaje na kontekst i jednoczesne operacje. Zrozumienie tego rozdziału między wagami, cache i overheadem decyduje o tym, czy model w ogóle zmieści się na karcie i czy będzie responsywny dla pracy z kodowaniem, rozmów czy agentów.