Naukowcy opracowali Continuum-LM, model języka oparty na nowym podejściu do głębi obliczeniowej, który wykorzystuje równania różniczkowe zamiast tradycyjnych dyskretnych residualnych obliczeń. Model reużywa pretrainowane transformacje jako operatory w modelu o ciągłej głębokości, gdzie stany ukryte ewoluują przez zwyczajne równania różniczkowe obliczane za pomocą numerycznej integracji wyższego rzędu.
Kluczową innowacją jest możliwość kontrolowania głębi obliczeń poprzez parametry solvera - rząd integracji i rozmiar kroku - bez konieczności rozszerzania struktury sieci neuronowej. Podejście to jest szczególnie interesujące dla modeli naukowych, które mają do czynienia z ciągłymi zjawiskami. Wyniki na ośmiu zadaniach naukowych pokazują stabilne trenowanie i znaczne zwiększenie dokładności: dla modelu 0,6B o 7,77 punktu procentowego, a dla 1,7B o 10,96 punktu procentowego w porównaniu z dyskretnymi odpowiednikami.
To podejście sugeruje nowy wymiar projektowania modeli językowych dla nauki, gdzie zamiast powiększania liczby parametrów można efektywnie przebudować głębię obliczeniową poprzez reużywanie już istniejących transformacji. Badanie wskazuje, że ciągła ewolucja stanów ukrytych może być praktycznym sposobem na zwiększenie zdolności modelowania bez tradycyjnego skalowania parametrów, co ma znaczenie dla szkolenia bardziej efektywnych modeli fundacyjnych.