Naukowcy rozwiązali problem optymalizacji momentu wywoływania drogich modeli LLM w systemach przetwarzających dane w czasie rzeczywistym, formalizując to jako sekwencyjny problem zatrzymania oparty na analizie ryzyka. Framework opiera się na polisach trigger'ów, które aktywują LLM gdy określona miara ryzyka przekroczy próg, a zespół udowodnił sześć kluczowych wyników teoretycznych, w tym gwarancje dotyczące minimalnego czasu między wyzwoleniami, optymalność polityk progowych oraz gwarancje SPRT dla strumieni statycznych i dynamicznych.
Praktyczne znaczenie jest duże - streamisowe pipeline'y łączą szybkie, lekkie modele z drogimi LLM-ami, a koszty mogą być substancjalne przy dużym wolumenie danych. Istniejące podejścia roterowania zapytań były ad-hoc i pozbawione solidnych fundamentów teoretycznych. Nowe ramy ujednocają klasyczne rodziny trigger'ów, w tym event-triggered, optimal stopping, SPRT, CUSUM i bayesowskie warianty, jako szczególne przypadki jednego, uniwersalnego frameworka.
Badania empiryczne na rzeczywistych danych CMAPSS - zbiorze degradacji silników turbowentylatorowych z rzeczywistymi wywołaniami LLM - potwierdziły teorie i pokazały, że funkcje ryzyka oparte na anomaly scores osiągają sublinearne regret (alpha = 0.75) oraz radzą sobie lepiej od sześciu baseline'ów, w tym routerów w stylu RouteLLM czy banditów kontekstowych. Podejście ma znaczenie dla każdego systemu łączącego modele o różnych kosztach i dokładności.