JetBrains zaprezentował Mellum2, nowy otwarty model sztucznej inteligencji zbudowany na architekturze Mixture-of-Experts z 12 miliardami parametrów. To rozwinięcie wcześniejszych prac zespołu, które pokazuje ambicje firmy znanych z JetBrains IDE w obszarze dużych modeli języków. Mellum2 różni się od tradycyjnych modeli tym, że zamiast aktywować wszystkie parametry jednocześnie, selektywnie uruchamia tylko określonych "ekspertów" w sieci neuronowej, co pozwala osiągnąć znacznie lepszą efektywność obliczeniową przy zachowaniu wysokiej wydajności.
Architektura Mixture-of-Experts stanowi obecnie jedno z najbardziej obiecujących podejść do skalowania modeli AI bez ogromnego wzrostu kosztów inferencji. Model Mellum2 z 12 miliardami parametrów konkuruje z wieloma większymi i bardziej zasobochłonnymi rozwiązaniami, ale wymaga mniej mocy obliczeniowej do działania. To ma ogromne znaczenie dla deweloperów i organizacji, które chcą wdrażać zaawansowane modele AI bez inwestowania w drogi sprzęt serwerowy.
Wprowadzenie Mellum2 do ekosystemu open-source'owego to ważny krok w demokratyzacji dostępu do zaawansowanych modeli AI. JetBrains, jako firma znana z deweloperskiego toolingu, rozumie potrzeby programistów i może wspierać rozwój narzędzi AI dostosowanych do pracy kodowników. Model będzie dostępny dla badaczy i deweloperów, którzy chcą eksperymentować z nowoczesnymi architekturami neuronowymi, a architektura MoE może inspirować dalsze innowacje w branży AI.