System Nexus rozwiązuje problem wydajności agentycznych LLM na protokole Model Context Protocol (MCP), gdzie ponowne kodowanie schematów narzędzi co turę powoduje que prefill - operacja kwadratowa względem długości sekwencji - dominuje czas do pierwszego tokena. Głównym rozwiązaniem jest decentralizacja routingu narzędzi z kosztami prefill schematów. Nexus wykorzystuje semantyczną buforkę lookaside (SLB) w INT8 z kalibrowaną bramką marginesu cross-encodera do wyboru narzędzi poprzez wyszukiwanie, generując argumenty na podstawie skompresowanej sygnatury tekstowej (mediana 19 tokenów) zamiast splajcowanej pamięci KV.
Ta ścieżka jest niezależna od głębokości - dokładność routingu pozostaje bliska 89% w miarę skalowania rejestu do 250 narzędzi, podczas gdy baseline łączący wszystkie schematy całkowicie przepełnia okno kontekstu. Nexus osiąga pierwszy token argumentu 1,66x szybciej niż pełne ponowne kodowanie schematów, przy oszczędności ~80% tokenów głównego kontekstu. Jako drugie podejście system transplantuje skompilowany blok KV schematu bezpośrednio do živego kontekstu.
To rozwiązanie ma fundamentalne ograniczenia ze względu na rotacyjne embeddingi pozycji (RoPE) - przesunięcia fazy powodują uszkodzenie atencji poza punktem zakotwiczenia. Dlatego Nexus stosuje adaptywne redekodowanie sufiksu dostosowane do głębokości, które w razie potrzeby eskaluje do pełnego ponownego prefill. System gwarantuje zachowanie dokładności wyjścia (top-1 agreement, dywergencja D_KL w przybliżeniu 0) z przyspieszeniem czasu do pierwszego tokena o 1,1-1,7x.