Naukowcy opracowali NadirClaw - system, który automatycznie kieruje pytania do najtańszych modeli AI, zmniejszając koszty operacyjne bez utraty jakości odpowiedzi. Rozwiązanie działa w inteligentny sposób: najpierw analizuje złożoność zapytania użytkownika, a następnie decyduje, którą wersję modelu wykorzystać. Zamiast zawsze korzystać z najlepszego i najdroższego rozwiązania, system bada, czy dane pytanie nie wymaga całej mocy obliczeniowej, i jeśli nie - kieruje je do tańszych alternatyw. W praktyce to znaczy, że prostolinijne pytania mogą trafiać do Gemini nano albo Gemini flash, podczas gdy tylko naprawdę skomplikowane zadania trafiają do potężniejszych - i droższych - wersji modelu.
Dla firm obsługujących tysiące lub miliony zapytań dziennie to może oznaczać ogromne oszczędności. NadirClaw wykorzystuje lokalną klasyfikację promptów, co oznacza, że decyzja o wyborze modelu podejmowana jest bezpośrednio na urządzeniu użytkownika bez konieczności wysyłania danych do chmury. Podejście to rozwiązuje jednocześnie problem opóźnień i bezpieczeństwa danych. System dynamicznie przełącza się między dostępnymi wersjami Gemini w zależności od bieżących potrzeb, a jego algorytm uczy się z czasem, która złożoność zapytania faktycznie wymaga większej mocy.
Zdaniem twórców rozwiązania, tego typu inteligentny routing staje się coraz bardziej niezbędny w świecie, gdzie koszty utrzymania aplikacji AI rosną wraz z liczbą użytkowników. Wraz z gwałtownym wzrostem popytu na modele generatywne wiele firm zmaga się z rosnącymi rachunkami za API. NadirClaw pokazuje, że nie trzeba wybierać między ekonomią a jakością - odpowiednia architektura systemu pozwala mieć jedno i drugie. To rozwiązanie może szczególnie zainteresować startupy i średnie przedsiębiorstwa, które chcą wdrażać AI na dużą skalę, ale nie mają budżetu wielkich korporacji.