UCCI to nowa metoda, która wykorzystuje skalibrowaną niepewność do inteligentnego kierowania zapytań między modelami językowymi, wybierając najmniejszy i najtańszy model zdolny do rozwiązania danego problemu. Naukowcy opracowali system kaskadowy, w którym każde zapytanie nie trafia od razu do największego i najdroższego modelu, ale najpierw testowane jest na mniejszych wersjach - przechodzi dalej w górę kaskady tylko wtedy, gdy model nie ma wystarczającej pewności siebie. To proste, ale genialnie efektywne rozwiązanie znacząco obniża koszty operacyjne systemów przetwarzających tysiące czy miliony zapytań dziennie.
Problem, który UCCI rozwiązuje, jest bolączką branży - duże modele językowe są potężne, ale drogi w utrzymaniu, a większość zapytań można obsłużyć modelami mniejszymi i znacznie tańszymi. Tradycyjne podejście albo prowadzi wszystkie pytania przez wszystkie warstwy, albo zawsze kieruje je do największego modelu, co marnuje zasoby. UCCI wprowadza dynamikę - mierzy nie tylko dokładność odpowiedzi, ale także stopień pewności modelu, wykorzystując kalibrowaną niepewność jako wskaźnik, kiedy trzeba eskalować do silniejszego systemu. To pozwala uniknąć zarówno zbyt szybkiego przeskakiwania do drogich modeli, jak i utknięcia przy słabszych rozwiązaniach.
Dla producentów usług AI - czy to firm budujących chatboty, czy platform obsługujących zapytania na dużą skalę - to rozwiązanie może oznaczać znaczące oszczędności. Chodzi o to, że w praktyce większość pytań nie wymaga mocy GPT-4 czy konkurencyjnych dużych modeli - zwykłe zapytania informatyczne, generowanie tekstu czy proste tłumaczenia radzi sobie dedykowane, mniejsze modele. UCCI sprawdza, ile pewności model ma w swoją odpowiedź, i tylko wtedy, gdy ta pewność jest zbyt niska, pyta coś mocniejszego. To podejście może zmniejszyć koszty infrastruktury przy jednoczesnym utrzymaniu wysokiej jakości obsługi.