MawForge to system pozwalający efektywnie uruchamiać duże modele Mixture-of-Experts na komputerach z ograniczoną ilością pamięci RAM przez przechowywanie pełnego modelu na dysku i materializowanie ekspertów na żądanie w ograniczonym cache'u wykonawczym. Tradycyjnie inference lokalny wymaga umieszczenia całego modelu, cache'u kluczy i wartości oraz buforów runtime'owych w szybkiej pamięci, co stanowi poważne ograniczenie dla domowych maszyn.
Sistem bazuje na obserwacji, że modele MoE rozdzielają całkowitą liczbę parametrów od aktywnych obliczeń per token. MawForge testuje hipotezę, że możliwe jest efektywne zarządzanie tym poprzez przechowywanie wspólnych tensorów w pamięci RAM, podczas gdy rzadko używane tensory ekspertów są ładowane z dysku w miarę potrzeb. Badanie wykazało, że MawForge działa skutecznie jako mechanizm ograniczonego wykonania i platforma pomiarowa dla lokalnego inference MoE.
Ważnym wnioskiem jest jednak to, że система nie funkcjonuje jako optymalna polityka maksymalizacji cache'u. Rzeczywista wydajność zależy od delikatnej równowagi między wielokrotnym wykorzystaniem ekspertów a rozmiarem zajmowanej pamięci, wielkością KV-cache, kwantyzacją modelu, lokalnością routowania zapytań oraz presją pamięciową systemu operacyjnego macOS. To oznacza, że ulepszenie wymaga dalszego optymalizowania tych komponentów.