Huawei opracował HiFloat4, nowy 4-bitowy format precyzji przeznaczony dla treningu i wnioskowania modeli sztucznej inteligencji na specjalistycznych akceleratorach Ascend. W porównaniu z formatem MXFP4 z Open Compute Project, HiFloat4 wykazuje lepszą wydajność, szczególnie w przypadku większych modeli.
Badacze z Huawei testowali swój format na trzech różnych architekturach - 1-miliardowym modelu OpenPangu, 8-miliardowym Llama3 oraz 30-miliardowym mieszanym modelu Qwen3-MoE. Im większe były modele, tym lepiej HiFloat4 radził sobie z redukcją błędu straty w porównaniu z baseline'em BF16, a we wszystkich przypadkach przewyższał konkurencyjny format MXFP4. Osiągnięte wyniki pokazują około 1 procent względnego błędu straty.
To opracowanie jest symptomem szerszej tendencji w chińskim sektorze AI - firm pracujących nad własnymi formatami precyzji ścieśle związanymi z ich proprietary'ną infrastrukturą sprzętową. Eksperci sugerują, że międzynarodowe ograniczenia w eksporcie technologii AI mogą napędzać chińskie zainteresowanie maksymalizacją efektywności treningowej i wnioskowania na własnych platformach. Strategie takie jak HiFloat4 pozwalają Huawei i innym firmom tworzyć zoptymalizowane ekosystemy niezależne od zachodnich standardów i technologii.