Naukowcy zaproponowali Guard (Gated Uncertainty-Aware Routing for Distillation), innowacyjny framework do destylacji wiedzy z foundation models w lekkie prognostyczne modele dla szeregów czasowych. Problem stanowi fundamentalna sprzeczność: duże modele foundation zawierają bogatą wiedzę o dynamice czasowej, ale działają słabo w konkretnych domenach naukowych (zero-shot) i pochłaniają zbyt dużo energii do wdrażania na urządzeniach brzegowych w sieciach sensorowych.
Framework Guard składa się z dwóch głównych mechanizmów. Pierwszy to Contextual Router, który dynamicznie wybiera najlepszych nauczycieli spośród wielu foundation models na podstawie lokalnych statystyk wejścia - wykorzystuje komplementarność różnych podejść. Drugi to Uncertainty-Gated Temperature, która działa jak wyłącznik bezpieczeństwa: gdy pewność nauczycieli odbiega od rzeczywistości domeny, automatycznie osłabia siłę destylacji wiedzy. To uniemożliwia przenioszeniu błędnych informacji.
Badacze testowali metodę na czterech krytycznych dla klimatu domenach: meteorologii, przemianie węgla w ekosystemach, wilgotności gleby i sieciach energetycznych. Guard znacząco zmniejszył błędy RMSE w stosunku do standardowej multi-teacher destylacji, umożliwiając efektywne wykorzystanie wiedzy z foundation models nawet gdy działają słabo w konkretnych zadaniach. To oznacza możliwość deploymentu zaawansowanych prognoz na urządzeniach brzegowych z ograniczoną mocą obliczeniową, co ma praktyczne znaczenie dla monitorowania klimatu i zarządzania energią.