Badacze opracowali nową metodę dystylacji wielonauczycielowej o nazwie CA-MOPD, która rozwiązuje problem efektywnego połączenia wiedzy od specjalistów dziedzinowych w jeden model. Dotychczasowe podejścia bazowały na mierze rozbieżności behawioralnych między nauczycielami a uczniem, ale mogły przydzielać zbyt silny nadzór nawet wtedy, gdy student już dorównywał lub przewyższał umiejętności nauczyciela w danym zadaniu.
Nowa metoda działa w dwóch etapach. Najpierw scala reinforcement-learning specjalistów w silną inicjalizację modelu studenckiego, co daje mu solidną bazę wiedzy. Następnie wykorzystuje szacunki luk w zdolnościach między nauczycielami a uczniem do przystosowania siły dystylacji na poziomie domeny. Kluczowe jest to, że nadzór zmniejsza się w miarę zamykania się luk zdolnościowych i wzrasta, gdy szacunkowe możliwości ucznia się pogorszą, podczas gdy szczegółowe wskazówki poziomu tokenu pozostają dostępne od nauczycieli.
Wyniki na sześciu benchmarkach obejmujących matematykę, generowanie kodu i wykonywanie instrukcji wykazały znaczną poprawę. CA-MOPD osiągnął średni wynik 32.22, co stanowi wzrost o 0.86 punktu w stosunku do zwykłego MOPD, 0.83 punktu w stosunku do Open-MOPD i 0.74 punktu w stosunku do zwykłej inicjalizacji scalonej. Kontrolowane porównania potwierdzają korzyści zarówno ze scalonej inicjalizacji, jak i wskazówek opartych na lukach zdolnościowych pod warunkiem identycznych budżetów treningowych.