Zespół badaczy zaprezentował FlexFloor - system, który znacząco zmniejsza koszty obliczeniowe post-trainingu opartego na uczeniu ze wzmacnianiem dla dużych modeli językowych. Problem polegał na tym, że w modelach mixture-of-experts pracownicy, którzy wcześniej generują swoje odpowiedzi, pozostawali zajęci czekając na innych pracowników przetwarzających dłuższe sekwencje, co powodowało marnowanie około jednej trzeciny czasu obliczeniowego.
FlexFloor działalność poprzez elastyczne dostosowanie planowania odpowiedzi i aktywnej grupy pracowników. System wykorzystuje historyczne dane dotyczące długości odpowiedzi i ograniczenia pamięci do optymalizacji grupowania i rozmieszczania prompt'ów. Kluczową innowacją jest progresywne uwalnianie pracowników z równoczesnym utrzymaniem dostępności ekspertów i prawidłowej komunikacji między komponentami. To podejście pozwala wcześniej zwolnić zasoby, zanim wszystkie zadania zostaną w pełni ukończone.
Wyniki są imponujące - FlexFloor generuje około 65,40% więcej tokenów odpowiedzi na jednostkę zajętego czasu obliczeniowego w porównaniu z bazową metodą verl, jednocześnie zwiększając przepustowość generowania odpowiedzi o 52,74%. Co równie ważne, zmiany te nie wpływają negatywnie na jakość nagrody rollout. Osiągnięcie takie ma znaczące implikacje dla praktycznych zastosowań - przyspiesza iteracyjne doskonalenie dużych modeli językowych i agentów AI, zmniejszając jednocześnie costy infrastruktury obliczeniowej wymagane dla zaawansowanego post-trainingu.