MoonMath AI opublikował otwarty kod kernela HIP dla akceleratorów AMD MI300X, który w każdym teście wydajności pokonuje oficjalne rozwiązanie AITER v3 autorstwa AMD. Kernel wykorzystuje sprytne techniki optymalizacyjne: jednoinstrukcyjne wrappery asemblerowe i ośmiofazowy pipeline, które pozwalają na bardziej efektywne wykorzystanie sprzętu MI300X w operacjach attention layer'u — kluczowego komponentu transformerów.
Operacje attention są wąskim gardłem w trenowaniu i inferencji dużych modeli języka. AMD oferuje własną optymalizację (AITER v3), ale otwarty kernel MoonMath pokazuje, że można to zrobić jeszcze lepiej. Faktem jest, że community badaczy i inżynierów potrafi znaleźć lepsze rozwiązania niż większe korporacje — zwłaszcza gdy kod jest otwarty i może być iteracyjnie ulepszany.
To ma znaczenie dla całego ekosystemu AMD. MI300X pozycjonuje się jako konkurencja dla GPU Nvidia H100/H200, ale aby przyciągnąć więcej użytkowników, potrzebne są wydajne implementacje kerneli. Publikacja kodu przez MoonMath AI może przyspieszyć adopcję AMD w projektach AI i pokazuje, że ekosystem wokół MI300X się rozwija. Dla społeczności open source to szansa na współpracę przy optymalizacjach krytycznych dla wydajności.