Badacze Meta wprowadzili Mochi, innowacyjną metodę, która łączy pre-training z inferencją poprzez meta-learning, aby stworzyć bardziej wydajne modele foundation dla danych grafowych. Chodzi o rozwiązanie fundamentalnego problemu w uczeniu maszynowym - luki między tym, jak modele są trenowane, a tym, jak działają w praktyce. Mochi zmniejsza wymagania obliczeniowe, jednocześnie utrzymując wysoką jakość działania, co stanowi znaczący krok naprzód w efektywności modeli AI pracujących na złożonych strukturach danych.
Tradycyjnie modele foundation trenowane są na ogromnych zbiorach danych, a następnie dostrajane do konkretnych zadań. Podejście Mety idzie dalej - zamiast traktować te fazy niezależnie, Mochi uczy model, jak się uczyć. Meta-learning, znany również jako "learning to learn", pozwala modelom adaptować się szybciej i bardziej elastycznie. To szczególnie ważne dla danych grafowych, które pojawiają się wszędzie - od sieci społecznych po molecular bioingeneer czy rekomendacje produktów. Struktury grafowe są skomplikowane obliczeniowo, dlatego każda optymalizacja ma prawdziwe znaczenie praktyczne.
Implikacje tej pracy są szeroko zakrojone. Modele foundation działające na grafach mogą być znacznie mniejsze i tańsze w utrzymaniu, co otwiera dostęp do zaawansowanej AI dla organizacji o ograniczonych zasobach. Meta pokazuje także nowe kierunki badań - dopasowanie pre-trainingu do inferencji poprzez meta-learning mogłoby inspirować rozwój innych typów modeli. W czasach, gdy koszty energetyczne i obliczeniowe modeli AI rosną, takie podejścia zyskują na znaczeniu zarówno dla industry, jak i dla środowiska.