Badacze zaproponowali DCOCO - mechanizm poprawiający wydajność speculative decoding poprzez przywrócenie kontekstowych zależności między tokenami generowanymi równolegle. Speculative decoding to technika przyspieszająca wnioskowanie dużych modeli języka, w której lekki model propozycji (drafter) generuje wiele tokenów równocześnie, a następnie główny model je weryfikuje. Problem polega na tym, że tokeny w bloku generowanym równolegle powstają bez wiedzy o faktycznych tokenach poprzedzających - brakuje naturalnych dla autoregresywnej generacji zależności między pozycjami.
DCOCO rozwiązuje to wyzwanie poprzez zachowanie wielu kandydujących tokenów dla każdej pozycji i równoległą ocenę ich kontekstowej kompatybilności z sąsiednimi pozycjami. To podejście znacznie bardziej efektywnie niż poprzednie metody wykorzystuje dostępne informacje, dokonując świadomych wyboru tokenów przy minimalnych dodatkowych kosztach obliczeniowych.
Według badań DCOCO osiąga najwyższą średnią przepustowość na wszystkich testowanych konfiguracjach, w tym zarówno dekodowaniu greedy jak i stochastycznym, niezależnie od tego czy model rozszerza rozumowanie czy nie. Przyspieszenia osiągają do 6.6x w stosunku do standardowego dekodowania. Znaczące jest, że przewaga metody utrzymuje się również w scenariuszach równoczesnego obsługiwania wielu zapytań, co czyni ją praktyczną dla rzeczywistych systemów produkcyjnych obsługujących wiele użytkowników jednocześnie.