Kiedy duży model językowy to dobry agent kalibracji? Prompting oznaczony fizyką dla kalibracji symul

Naukowcy z arXiv CS.LG wykazali, że duże modele językowe mogą być obiecującymi agentami do wstępnej kalibracji kosztownych symulatorów inżynierskich, ale tylko w ograniczonym oknie czasowym. W badaniu testowano LLM-y instruowane fizycznymi opisami błędów symulacji na dwóch zadaniach - symulacji Large-Eddy dla walca w przepływie oraz problemie odwrotnym oscylatora tłumionego.

Wyniki były zaskakujące: pierwsza propozycja LLM warunkowanego fizyką poprawiła projekt początkowy w 23 z 25 prób, a po zaledwie pięciu ewaluacjach błąd kalibracji był 21,9 razy mniejszy niż w grupach kontrolnych bez informacji fizycznej. To sugeruje, że LLM-y potrafią wykorzystać wiedzę ogólną do inteligentnego zgadywania w zadaniach optymalizacji numerycznej. Jednak ta przewaga jest efemeryczna - znika po około 15 iteracjach. Dodatkowo naturalnie zmienność LLM-ów powoduje, że różne przebiegi tego samego eksperymentu mogą się różnić 9,8-krotnością wydajności.

Kluczowym odkryciem jest hybrydowe rozwiązanie: użycie LLM-u tylko do wygenerowania początkowego przypuszczenia "ciepłego startu", po czym przekazanie zebranych danych konwencjonalnemu optymalizatorowi (Nelder-Meadt lub bayesowskiej optymalizacji). Ta dwufazowa polityka kontynuacji numerycznej osiągała docelową dokładność w zaledwie 9 uruchomieniach symulatora - lepiej niż samo LLM (12 uruchomień), Nelder-Mead (17 uruchomień) czy optymalizacja bayesowska (ponad 60 uruchomień). Badanie pokazuje, że LLM-y mają realną wartość w optymalizacji kosztownych procesów, ale nie jako główni optymalizatory - raczej jako inteligentni asystenci do szybkiego wskazania obiecujących kierunków poszukiwań.