Badania NVIDIA wykazują, że speculative decoding w frameworku NeMo RL pozwala przyspieszać generowanie tekstu 1,8 razy dla modeli 8B parametrów, a prognozuje wzrost do 2,5 raza dla modeli 235B. Technika ta wykorzystuje mniejszy model do predykcji następnych tokenów, które weryfikuje większy model, eliminując opóźnienia. Innowacja ma znaczący wpływ na efektywność inferencji dużych modeli językowych, co może obniżyć koszty ich eksploatacji i przyspieszać aplikacje oparte na LLM.