Naukowcy zaprezentowali E³-Agent, system który automatycznie zarządza zasobami sprzętowymi dla modeli generacyjnych AI działających bezpośrednio na urządzeniach brzegowych. Zamiast ręcznego dostrajania i ciągłego monitorowania - co jest praktycznie niemożliwe w rzeczywistych warunkach - agent uczy się i ewoluuje w trakcie pracy, inteligentnie rozdzielając pamięć RAM, moc obliczeniową procesora i energię pomiędzy różne operacje sztucznej inteligencji. To podejście zmienia sposób, w jaki myślimy o wdrażaniu zaawansowanych modeli AI na smartfonach, tabletach czy dedykowanych urządzeniach brzegowych.
Problem, który rozwiązuje E³-Agent, jest realny i dotyka każdego twórcy aplikacji mobilnych. Duże modele generacyjne wymagają ogromnych zasobów, a urządzenia brzegowe - mobilne czy embedded - mają ich zawsze za mało. Bez inteligentnego systemu zarządzania zasobami, aplikacje albo działają zbyt wolno i energochłonnie, albo wpadają w crash. Tradycyjne rozwiązania to statyczne limity ustawiane przez programistę, co jest zarówno mało efektywne, jak i trudne do wdrożenia dla każdej konfiguracji sprzętowej z osobna.
E³-Agent otwiera nowe możliwości bardziej rozproszonej infrastruktury AI. Zamiast wysyłać wszystkie dane do chmury - co wiąże się z opóźnieniami, kosztami transmisji i zagrożeniami dla prywatności - modele mogą działać lokalnie z maksymalną wydajnością dla danego sprzętu. To szczególnie ważne dla aplikacji wymagających niskich opóźnień, jak tłumaczenie w czasie rzeczywistym, asystenci głosowi czy zaawansowana analiza obrazu. Innowacja ta stanowi krok w kierunku rzeczywiście rozproszonej AI, gdzie inteligencja podąża do użytkownika zamiast zmuszać użytkownika do wysyłania danych do centralnych serwerów.