Niemieckie konsorcjum badawcze pod koordynacją KI Bundesverband wydało Soofi S 30B-A3B, hybrydowy model bazowy łączący architekturę Mamba-Transformer z mechaniką Mixture-of-Experts. Model zawiera około 31,6 miliarda parametrów, ale aktywuje zaledwie 3,2 miliarda na token, co istotnie zmniejsza koszty obliczeniowe. Training przebiegł od początku do końca na infrastrukturze Industrial AI Cloud Deutsche Telekom w Monachium, finansowanej przez Federalne Ministerstwo Spraw Gospodarczych i Energii Niemiec.
Architektura modelu składa się z 52 warstw: 23 warstw sekwencyjnego mieszania Mamba-2, 23 granularnych warstw MoE oraz 6 warstw Grouped-Query Attention (GQA). Każda warstwa MoE zawiera 128 routowanych ekspertów, aktywując 6 na token, plus 2 ekspertów wspólnych. Zespół badawczy adopt architekturę Nemotron 3 Nano ze względu na łatwość deploymentu na stackach takich jak vLLM, efektywność serwowania i naukowe zasady projektowania.
Model przeszedł ewaluację na standardowych benchmarkach i wykazał najwyższe wyniki wśród w pełni otwartych modeli bazowych zarówno dla angielskiego, jak i niemieckiego. Jako model bazowy nie ma instruction tuningu, wyrównania czy safety tuningu, pozostając surowymi wagami do dalszego dostosowania. Konsorcjum obejmuje Fraunhofer IAIS, DFKI, TU Darmstadt, ellamind i Merantix Momentum.