Moonshot AI wdrożyła open-source'owe kernele GPU FlashKDA, które optymalizują Delta Attention - mechanizm stosowany w modelu Kimi. To rozwiązanie napisane na bazie biblioteki CUTLASS pozwala znacznie przyspieszyć obliczenia mechanizmu attention w dużych modelach języka, jednocześnie zmniejszając zużycie pamięci GPU. Dla branży LLM to oznacza możliwość szybszego i bardziej efektywnego przetwarzania tekstu, zwłaszcza gdy sekwencje mają zmienną długość - czyli praktycznie zawsze w rzeczywistych zastosowaniach.
FlashKDA wyróżnia się wsparciem dla batching'u ze zmienną długością sekwencji, co jest kluczowe dla praktycznego wdrażania modeli na produkcji. Benchmarki opublikowane przez Moonshot wskazują na konkretne wyniki dla akceleratora H20 od Huawei, pokazując jak solidnie kernele działają na różnym sprzęcie. Delta Attention to mechanizm bardziej efektywny niż klasyczne attention, a dzięki implementacji GPU może być naprawdę szybki - to dokładnie to, czego potrzebują zespoły korzystające z Kimi czy chcące budować własne modele oparty na podobnych architekturach.
Udostępnienie FlashKDA jako open-source'u to pozytywny sygnał dla całej ekosystemu AI w Chinach i globalnie. Umożliwia innym firmom i badaczom bezpośrednie korzystanie z optymalizacji, a potencjalnie także ich modyfikowanie dla własnych potrzeb. W kontekście rosnącej konkurencji między providerami LLM każda poprawa wydajności liczy się - zarówno dla czasu odpowiedzi modelu, jak i dla kosztów infrastruktury obliczeniowej.