Naukowcy z arXiv poruszają fundamentalny problem w projektowaniu agentów AI: trójpodział między dokładnością, prywatnością i wydajnością. Duże modele w chmurze osiągają wysoką dokładność, ale wymagają przesyłania danych użytkownika poza jego urządzenie. Małe modele działające lokalnie chronią prywatność, ale osiągają gorsze wyniki. Zespół bada trzecie podejście - hybrydową architekturę, gdzie chmurowy model generuje program, a lokalny model SLM interpretuje dane w runtime poprzez zwykłe funkcje.
W badaniu na benchmarku AppWorld eksperymentowali z sześcioma kombinacjami modeli backbone i różnymi partycjami testowymi. Architektura hybrydowa konsekwentnie poprawiała współczynnik sukcesu agenta opartego na kodzie, osiągając wzrost nawet o 14,9 punktu procentowego w stosunku do baseline'u. To stanowi znaczące odczepienie się od przepaści do wydajności agentów ReAct uruchamianych w chmurze, zachowując jednocześnie dane użytkownika na lokalnym urządzeniu.
Wyniki są ważne dla przyszłości agentów AI, zwłaszcza w kontekście rosnących wymagań dotyczących prywatności i regulacji takich jak RODO. Hybrydowe podejście otwiera drogę do agentów, które są zarówno precyzyjne, jak i bezpieczne dla użytkownika, bez konieczności kompromisu między bezpieczeństwem danych a wydajnością systemu.