Hugging Face udostępnił Olmo-core 3, otwartą infrastrukturę przeznaczoną do trenowania dużych modeli Mixture of Experts w skalowalny sposób. Projekt oparty jest na pełnie dostępnym kodzie źródłowym, co stanowi znaczący krok w kierunku otwarcia technologii AI dla szerszej społeczności badawczej i biznesowej.
Olmo-core 3 stanowi ewolucję wcześniejszych wersji i został zaprojektowany z myślą o naukowcach i inżynierach, którzy chcą eksperymentować z architekturami MoE - modelami, które wykorzystują wiele specjalizowanych sieci neuronowych do przetwarzania różnych typów informacji. Infrastruktura oferuje narzędzia do efektywnego zarządzania zasobami obliczeniowymi i optymalizacji procesu trenowania na dużą skalę.
To rozwiązanie ma istotne znaczenie dla ekosystemu AI, ponieważ dotychczas możliwość budowania i trenowania konkurencyjnych wielkich modeli była zazwyczaj dostępna tylko dla gigantów technologicznych z ogromnym budżetem. Otwarte udostępnienie Olmo-core 3 umożliwia uniwersytetom, mniejszym startupom i zespołom badawczym opracowanie własnych zaawansowanych modeli, co powinno przyspieszać innowacje i zmniejszać nierówności w dostępie do najnowszej technologii AI.