Naukowcy opracowali architekturę o nazwie EMO, którą trenuje się jako mixture of experts w taki sposób, aby model samoistnie rozdzielił się na specjalizowane moduły obsługujące różne zadania. Chodzi o naturalny proces - podczas pretrainingu sieć sama odkrywa, które parametry powinny zajmować się przetwarzaniem tekstu, a które matematyką czy kodowaniem, bez jawnych instrukcji od naukowców. To zjawisko, które nazywają emergentną modularością, otwiera drzwi do znacznie bardziej zrozumiałych i wydajnych modeli AI.
Znaczenie tego odkrycia sięga głębiej niż zwykła optymalizacja wydajności. Dotychczasowe duże modele językowe działają jak czarna skrzynka - wszyscy wiemy, że potrafią robić wiele rzeczy, ale trudno powiedzieć, które części sieci odpowiadają za co. EMO zmienia tę sytuację poprzez naturalny podział funkcjonalności na odrębne moduły. Oznacza to nie tylko lepszą efektywność obliczeniową i łatwość skalowania, ale także większą interpretowalność - naukowcy mogą wreszcie zacząć rozumieć, jak te systemy myślą. To szczególnie ważne dla bezpieczeństwa AI i budowania zaufania do coraz bardziej zaawansowanych modeli.
Badania te wskazują, że architektura mixture of experts, gdzie zamiast uruchamiać całą sieć na każdym wejściu, system selektywnie aktywuje tylko relevantne moduły, może być kluczem do następnej generacji sztucznej inteligencji. Ten kierunek zmierza w stronę systemów, które są jednocześnie mocniejsze, bardziej oszczędne w zasobach obliczeniowych i bardziej przejrzyste dla człowieka. To otwarcie czarnej skrzynki, które nauka o AI od dawna czeka.