Anima Anandkumar z Caltech przed kilkoma laty zdecydowała się na opracowanie pierwszego otwartego modelu pogody opartego na AI. Mimo skeptycyzmu ekspertów, którzy wskazywali na chaotyczną naturę pogody, zaawansowaną fizykę symulacji i brak wystarczających danych, jej zespół w ciągu roku zbudował FourCastNet - model predykcyjny konkurencyjny z najlepszymi dostępnymi symulacjami fizycznymi. Dzisiaj każdy może dokładnie prognozować pogodę na krótką skalę czasową, korzystając z konsumenckich GPU.
Praca Anandkumar odsłania fundamentalny problem w AI. Podczas gdy mamy zaawansowane modele fundamentalne dla języka, fizyka systemów ciągłych - pogoda, fuzja jądrowa, przepływ płynów czy transfer ciepła - pozostaje niezadowalająco obsługiwana. Te obszary są niezwykle trudne do modelowania: są rozległe, chaotyczne i wieloskalowe. Społeczność AI długo je zaniedbywała, ale to zmienia się wraz z odkrywaniem ich potencjału.
Klucz do zrozumienia tego kierunku leży w tym, że wymaga zupełnie innego podejścia niż skalowanie transfermerów. Dane fizyki nie są tam jak tokeny tekstowe - otwarte zbiory danych w tych domenach to tysiące lub co najwyżej setki tysięcy przykładów, a nie miliardy. Do tego dochodzi kwestia rozdzielczości - wysokiej dokładności fizyczne symulacje wymagają architektur specjalizowanych, a nie kolejnego gigantycznego modelu. To jest przyszłość dla AI: nie tylko skalowanie do nieskończoności, ale dostosowywanie do rzeczywistości fizyki.