Naukowcy opracowali nową metodę optymalizacji pamięci podręcznej dla transformerów, która może znacznie poprawić efektywność działania dużych modeli języka podczas inferencji. Zamiast tradycyjnego podejścia, które przechowuje wszystkie wygenerowane tokeny, Tensor Cache wykorzystuje pamięć asocjacyjną sterowaną mechaniką wyparcień - System inteligentnie decyduje, które dane trzymać w pamięci, a które porzucić, osiągając lepszy balans między szybkością przetwarzania a zużyciem zasobów. To rozwiązanie jest szczególnie istotne, bo rosnące rozmiary modeli transformerowych (takie jak GPT czy Llama) stawiają coraz większe wyzwania logistyczne zarówno dla centrów danych, jak i dla urządzeń brzegowych.
Problem, który rozwiązuje ta technika, jest fundamentalny dla współczesnych AI: podczas generowania odpowiedzi model musi przechowywać wszystkie wcześniejsze tokeny i ich ukryte reprezentacje (tzw. KV cache), co szybko wyczerpuje dostępną pamięć. Przy długich kontekstach - czasem tysiące tokenów - to uzupełnianie staje się wąskim gardłem. Tradycyjne sposoby radzenia sobie z tym problemem to albo zmniejszanie wielkości batch'a, albo porzucanie starszych tokenów bez większego namysłu. Tensor Cache proponuje podejście bardziej wyszukane, bazujące na zasadach pamięci asocjacyjnej znanych z neurobiologii i machine learningu.
Innowacja ma znaczące implikacje praktyczne dla branży. Po pierwsze, mogłaby zwiększyć przepustowość serwerów obsługujących pytania do dużych modeli - mniej pamięci oznacza obsługę więcej użytkowników jednocześnie. Po drugie, otwiera drogę do bardziej efektywnego uruchamiania zaawansowanych modeli na urządzeniach mobilnych czy routerach - scenariusz do tej pory niedostępny dla najnowszych transformerów. Po trzecie, zmniejszenie footprinta pamięciowego może przełożyć się na obniżenie kosztów operacyjnych i zużycia energii, co ma znaczenie zarówno ekonomiczne, jak i ekologiczne dla prężnie rosnącego sektora AI.