Nowy model Boa Compressor zmienia podejście do kompresji kontekstu w dużych modelach językowych. Zamiast używać złożonych Transformerów do zmniejszania rozmiaru kontekstu, rozwiązanie opiera się na znacznie wydajniejszym Mambie - state-space model, który przetwarza tekst o dowolnej długości w czasie liniowym. To fundamentalne zmiana, bo dotychczasowe metody soft-prompt compression wymagały takich samych Transformerów jak docelowy model, co prowadziło do znaczących opóźnień i ograniczało ich użycie do scenariuszy offline.
Boa uczy się poprzez distillację, dopasowując rozkład logitów następnego tokena od modelu pracującego na pełnym kontekście do tego samego modelu zasilanego skompresowaną reprezentacją. Zamrożony model docelowy działa na już skompresowanych danych, co pozwala zaoszczędzić na liczbie obliczeń. W testach model osiąga równą lub lepszą wydajność od istniejących baseline'ów offline przy znacznie niższych kosztach obliczeniowych i latencji. Szczególnie imponujące są wyniki przy agresywnych stopniach kompresji - nawet 16 razy zmniejszony kontekst wciąż zachowuje jakość.
To rozwiązanie ma znaczenie praktyczne dla wdrażania LLM-ów w aplikacjach wymagających szybkiej odpowiedzi na dłuższe teksty. Dziesięciokrotne przyspieszenie w stosunku do podejść Transformer-based sprawia, że kompresja online staje się wykonalna, a nie stanowi dodatkową warstwę latencji. Model wydaje się skalować dobrze zarówno do dłuższych kontekstów, jak i do bardziej agresywnych kompresji, otwierając możliwości dla bardziej efektywnych i responsywnych systemów AI.