Zespół badaczy z arXiv opublikował pracę definiującą matematyczne warunki realizalności dla kaskadowego wnioskowania w dużych modelach językowych, gdzie zapytania mogą być obsługiwane na urządzeniach brzegowych lub eskalowane do centrala. Problem polega na wyborze progu pewności dla decyzji routingu - system musi wiedzieć, kiedy zatrzymać zapytanie lokalnie, a kiedy wysłać do mocniejszego modelu.
Badacze wyprowadzili rozwiązanie w postaci zamkniętej formuły, która wyznacza granice realizalności kaskady. Odkryli dwa kluczowe punkty orientacyjne: dolną granicę (gdzie kaskada jest zawsze opłacalna niezależnie od jakości sygnału pewności) i górną granicę (gdzie żaden próg pewności nie uratuje kaskadę). Decydującą rolę gra współczynnik kosztu architektonicznego - gdy compute lokalny jest naliczany, dominuje koszt; gdy koszty są już ponieśli na zdecentralizowanym sprzęcie, warunki stają się bezwarunkowe, a jakość sygnału pewności określa jedynie wydajność systemu.
Praca identyfikuje trzy wymagania projektowe dla praktycznych implementacji i pokazuje, że istniejące trenowane w dużych modelach prymitywy spełniają je jedynie izolacyjnie, a nie holistycznie. Autorzy proponują przyszłe badania nad wspólaprojektowaną architekturą i protokołem weryfikacyjnym. Znaczenie tej pracy leży w matematycznych fundamentach optymalizacji rozproszonych systemów LLM, co jest krytyczne dla deploymentu na urządzeniach mobilnych i brzegowych.