Badacze zidentyfikowali fundamentalny problem przy wdrażaniu kompresji tekstu w systemach RAG na tanich GPU. Tradycyjna Neural compression zmniejsza liczbę tokenów, ale dodaje narzut cache'owania i preprocessing, co może być bardziej kosztowne niż sama generacja. Zarazem pominięcie kompresji prowadzi do awarii out-of-memory przy długich kontekstach. Ten problem nazwali Compression Paradox.
Rozwiązaniem jest Tri-Metric Router - system klasyfikujący każde zapytanie bez treningu na trzy metryki łatwe do obliczenia na CPU: spatial complexity (liczba słów), syntactic density (gęstość kluczowych wyrazów) i type-token ratio (różnorodność słownika). Na podstawie tych sygnałów router decyduje, czy stosować surowy tekst, kompresję neuralną czy leksykalną (BM25). Kluczowa innowacja: routing oparty jest na fizyce sprzętu - headroomie pamięci VRAM i crossover punkcie latencji, a nie jedynie semantyce tekstu.
Metoda osiągnęła 0% awarii out-of-memory na testach poza dystrybucją, 88,5% zgodności z optymalnym wyborem i poprawiła wynik F1 o 5,2 punktu w porównaniu do zawsze włączonej kompresji leksykalnej. Wszystko bez dodatkowego trenowania czy zwiększenia zapotrzebowania na pamięć, co czyni to praktycznym rozwiązaniem dla wdrażania dużych modeli na standardowym sprzęcie.