Naukowcy opublikowali na arXiv metodę TRACE, która rozwiązuje problem związany z komunikacją między podzielonymi równolegle transformerami na edge deviceach. Głównym zagadnieniem jest wymiana aktywacji między partycjami przetwarzającymi sekwencję, która w standardowych warunkach rozproszonej inferencji stanowi wąskie gardło - zajmuje znacznie więcej czasu niż sama obliczeniowa część modelu.
TRACE umieszcza Vector Quantizer na residualnym wyjściu każdej warstwy transformera i prekomputuje reprezentacje kluczy i wartości indeksowane słownikiem. Podczas inferencji wymieniane aktywacje są kodowane do kompaktowych indeksów, a urządzenia odbierające mogą bezpośrednio pobrać klucze i wartości z tabeli zamiast przeprowadzać obliczenia potrzebne do ich wygenerowania. To podejście eliminuje opóźnienie spowodowane przetwarzaniem otrzymanych danych - wcześniej trzeba było czekać na transmisję, zanim można było rozpocząć dalsze obliczenia. Hierarchiczna struktura słownika dodatkowo umożliwia dostosowanie przepustowości transmisji w trakcie działania bez konieczności ponownego treningu modelu.
Metoda ma znaczenie praktyczne dla wdrażania zaawansowanych modeli na współlokowanych urządzeniach brzegowych, gdzie przepustowość sieciowa jest często bardziej ograniczającym czynnikiem niż moc obliczeniowa. Rozwiązanie oferuje dwa warianty operacyjne - jeden maksymalizujący dokładność, drugi balansu między dokładnością i efektywnością.