Naukowcy z arXiv opublikowali metodę KV-PRM, która radykalnie zmniejsza koszty obliczeniowe oceniania procesów rozumowania w systemach multi-agentowych, eliminując potrzebę ponownego kodowania całego tekstu trajektorii. Zamiast tego model bezpośrednio czyta cache KV (klucze-wartości) produkcyjnie generowany podczas działania modelu języka, a następnie przetwarza pojedynczy token weryfikacyjny wobec tego pre-istniejącego cache'u.
Tradycyjne podejścia tekstowe do modelowania nagrody procesów (PRM) napotykają drażliwą przeszkodę: koszt kodowania rośnie kwadratowo w stosunku do długości sekwencji (O(L2)), co czyni je niewykonalnymi dla długich rolloutów. KV-PRM rozwiązuje ten problem przez zmianę złożoności na O(L), czyli liniową. Badacze formalnie udowodnili, że KV cache zawiera ściśle większą zdolność informacyjną niż tekst i jest bardziej efektywny dla modelowania nagród w downstream'owych zadaniach.
Wyniki eksperymentalne na benchmarkach MATH, GSM8K i AIME pokazują, że KV-PRM dorównuje lub przewyższa tradycyjne tekstowe PRM-y przy zastosowaniu różnych metod test-time scaling takich jak Beam Search, MCTS i Weighted Voting. Osiągnięte przyśpieszenia są imponujące: do 5000-krotna redukcja FLOPów w ocenianiu, 37-krotne zmniejszenie latencji i 34-krotne obniżenie zużycia pamięci na sekwencję w porównaniu z modelami opartymi na tekście.