Nowe badania prezentują EMO, architekturę mixture of experts trenowaną w celu osiągnięcia emergentnej modularności w modelach sztucznej inteligencji. Podejście umożliwia automatyczne podziały funkcjonalności modelu na specjalizowane moduły podczas pretrainingu, co może poprawić efektywność, skalowalność i możliwość interpretacji modeli. Odkrycie to jest istotne dla zrozumienia, jak duże modele organizują wiedzę i mogą być optymalizowane.