Hugging Face wprowadził @huggingface/kernels - bibliotekę otwartego kodu zawierającą ponad 200 optymalizowanych kerneli WebGPU dedykowanych do uruchamiania modeli AI bezpośrednio w przeglądarce użytkownika. To rozwiązanie stanowi krok w kierunku demokratyzacji AI, pozwalając deweloperom tworzyć aplikacje bez potrzeby odpłatnych API lub zewnętrznych serwerów.
WebGPU to nowoczesny standard API umożliwiający dostęp do GPU przeglądarki, oferujący znacznie lepszą wydajność niż tradycyjne metody obliczeń JavaScript. Kernele Hugging Face zostały zaprojektowane i zoptymalizowane do wykonywania operacji matematycznych wymaganych przez modele transformerowe i inne architektury AI. Biblioteka obejmuje implementacje dla popularnych operacji takich jak mnożenie macierzy, normalizacja czy operacje aktywacyjne, które są niezbędne do wydajnego działania modeli językowych i wizyjnych.
Znaczenie tego wydania sięga poza samo techniczne rozwiązanie. Uruchamianie AI lokalnie w przeglądarce oznacza, że dane użytkowników nigdy nie opuszczają jego urządzenia, co ma ogromne implikacje dla prywatności i bezpieczeństwa. Deweloperzy mogą teraz budować aplikacje AI bez kosztów operacyjnych związanych z utrzymaniem serwerów, co otwiera możliwości dla małszych zespołów i startupów. Kernele WebGPU Hugging Face mogą zatem przyspieszyć adopcję lokalnego AI i stać się fundamentem nowej generacji aplikacji działających bez połączenia z chmurą.