Google wydał LiteRT.js - nowe narzędzie umożliwiające uruchamianie modeli .tflite bezpośrednio w przeglądarce internetowej. To nie zupełnie nowy produkt, lecz JavaScript binding istniejącego już runtime Google'a, który firma skompilowała do WebAssembly i wyeksponowała dla JavaScript.
Główną zaletą LiteRT.js jest to, że zachowuje wszystkie optymalizacje z natywnego runtime'u. Podczas gdy starsze rozwiązania jak TensorFlow.js polegały na jądrach napisanych w JavaScripcie, LiteRT.js przenosi cały skompilowany kod maszynowy do przeglądarki. To oznacza, że aplikacje webowe dziedziczą wszystkie ulepszenia wydajności, kwantyzacje i optymalizacje sprzętowe, które Google wcześniej wdrożyło dla Androida, iOS i desktopa. Wniósł to ze sobą wsparcie trzema możliwościami akceleracji - CPU przez bibliotekę XNNPACK z obsługą wielowątkowości, GPU przez ML Drift uruchamiany przez WebGPU, oraz NPU przez eksperymentalne API WebNN w Chrome i Edge.
Rozwiązanie ma jednak ograniczenia - LiteRT.js nie obsługuje częściowej delegacji obliczeń między akceleratorami. Każdy model musi być całkowicie obsługiwany przez wybrany backend, w przeciwnym wypadku system automatycznie wraca do wykonania na CPU. Strategia Google'a tutaj jest jasna - zapewniając inference całkowicie po stronie klienta, zmniejsza się opóźnienia sieci, eliminuje koszty serwerowe i wzmacnia prywatność użytkownika, ponieważ dane nigdy nie opuszczają przeglądarki.