Zyphra opublikowała ZYFA, bibliotekę kerneli attention zoptymalizowaną dla GPU AMD Instinct MI355X, która przyspieszenia przetwarzanie prefill dla modeli o długim kontekście. Implementacja zawiera kernele FP8 (e4m3) oraz BF16 napisane w HIP i asemblerze, dostępne jako open source na licencji Apache 2.0. Na rzeczywistych aktywacjach modeli, kernele FP8 działają 1.16-1.76x szybciej niż AITER - domyślna biblioteka AMD - przy błędzie precyzji 62-78% niższym niż konkurencja przy wymiarze head 128.
Biblioteka oferuje interfejs kompatybilny z flash_attn_func i wymaga AMD Instinct MI355X z ROCm 7.2.3 oraz PyTorch 2.12. Testowanie pokazało osiągnięcie 2,672 TFLOP/s w FP8 przy 32K tokenów (53% teoretycznego szczytu), przy czym najsłabszy wynik to 1.16x przyśpieszenie na aktywacjach Mistral-7B ze względu na obniżenie zegara FP8 do 1,628 MHz. ZYFA napędza silnik attention Zyphra Optimization Engine (ZOE), który obsługuje Zyphrę Cloud.
Ultraoptymalizacja stanowi odpowiedź na ograniczenia architektury MI355X, gdzie instrukcje macierzowe FP8 działają z 2x wyższą szybkością niż BF16, ale softmax między operacjami QKᵀ i PV wykonuje się na tej samej prędkości niezależnie od precyzji. To oznacza, że rzeczywisty przyrost wydajności jest ograniczony przez wąskie gardło softmax, a ZYFA osiąga maksimum poprzez precyzyjne planowanie zasobów obliczeniowych.