Naukowcy przedstawili UCCI, metodę wykorzystującą skalibrowaną niepewność do inteligentnego kierowania zapytań pomiędzy modelami językowymi w architekturze kaskadowej. Podejście to pozwala na dynamiczny wybór modelu w zależności od poziomu pewności odpowiedzi, minimalizując koszty obliczeniowe. Rozwiązanie jest istotne dla praktycznego wdrażania dużych modeli, gdzie efektywność kosztowa jest kluczowa w systemach przetwarzających masowe zapytania.
Badania
arXiv CS.LG