Aleph Alpha, niemiecki producent modeli AI, opublikował otwartoźródłowy model Kolibri bazujący na architekturze Mixture-of-Experts, przeznaczony do komunikacji w języku angielskim i niemieckim. Model dysponuje 78.1 miliardami parametrów całkowitych, ale aktywuje zaledwie 3.46 miliarda na każdy token, co stanowi zaledwie 4.4 procent całej sieci. To podejście pozwala na efektywne działanie bez konieczności przetwarzania wszystkich parametrów jednocześnie.
Kolibri został stworzony end-to-end przez zespoły Aleph Alpha w Niemczech i Finlandii z pełną kontrolą nad całym pipeline'm - od zbierania danych, przez architekturę, infrastrukturę treningową, aż po ewaluację. Model przyjmuje kontekst do 1 miliona 48 tysięcy tokenów i umożliwia użytkownikom personalizację poziomu effort'u na danym zadaniu. Architektura wykorzystuje 384 routowanych expertów, gdzie każdy token trafia do sześciu najlepszych expertów plus jeden shared expert. Model jest dostępny pod licencją Apache 2.0 na Hugging Face w checkpoincie FP8 o rozmiarze około 78 gigabajtów.
Rozdział Kolibri stanowi istotny krok dla Europy w kierunku suwerenności technologicznej. Model został specjalnie zaprojektowany z uwzględnieniem europejskich regulacji - EU General-Purpose AI Code of Practice, Aktu AI oraz GDPR. Pipeline przetwarzania danych automatycznie usuwa dane osobowe przed treningiem. Kolibri może działać na pojedynczym GPU klasy B200, B300, H200 lub dwóch procesorach H100 SXM5, co czyni go dostępnym dla przedsiębiorstw i administracji publicznej, które chcą prowadzić wdrożenia w kontrolowanych warunkach.