Baidu udostępniło ERNIE 5.5 Flash Base, surowy checkpoint pre-treningowy swojego nowego rozrzedzonego modelu Mixture-of-Experts. Model zawiera 280 miliardów parametrów, z czego 14 miliardów jest aktywowanych na każdy token, co stanowi efektywne podejście do zarządzania mocą obliczeniową.
Architektura opiera się na 43 warstwach z wielkością ukrytych stanów 4096, a pre-trening odbył się na 33,5 bilionach tokenów przy użyciu optymalizatora Muon. Model obsługuje długość kontekstu 128K podczas treningu oraz 1 miliona tokenów podczas fine-tuningu i wnioskowania. Weights dostępne są w formatach FP8 i BF16. Baidu wdrożyło hybrydowe mechanizmy atencji, gdzie 37 warstw korzysta z heavily compressed attention, optymalizując zarówno koszt obliczeń aktywnych, cache KV jak i operacje na długim kontekście.
W benchmarkach Baidu raportuje wyniki będące najlepszymi w 24 z 30 testów w ich ujednoliconym pipeline. Szczególnie imponujący wynik to 78,4 w MMLU-Pro, co znacznie przewyższa 69,2 osiągnięte przez DeepSeek-V4-Flash-Base. Publikacja surowego checkpointa bez mid-training czy post-trainingu stanowi czysty punkt wyjścia dla zespołów chcących porównywać różne metody fine-tuningu i instruction tuningu. Model wymaga środowiska multi-GPU z konfiguracją 4-way parallelism w SGLang lub vLLM.