Kiedy rozkład częstotliwości wspomaga sieci neuronowe oparte na fizykę?

Sieci Physics-Informed Neural Networks (PINNs) bezpośrednio wbudowują równania fizyki w proces treningowy, ale borykają się z tzw. spectral bias - szybciej uczą się komponentów niskofrequencyjnych niż wysokofrequencyjnych. Problem dotyczy równań różniczkowych cząstkowych (PDE) zawierających złożone cechy wieloskalowe, które tradycyjne sieci neuronowe trudno aproksymują. Naukowcy z arXiv zaproponowali rozwiązanie w postaci architektury DBSG-PINN (dual-branch spectrally-gated), która rozdziela komponenty niskiej i wysokiej częstotliwości na osobne podsieciami połączone adaptacyjną bramką.

Badanie przeprowadzono na pięciu jednowymiarowych benchmark'ach obejmujących zarówno gładkie problemy jednowymiarowe, jak i oscylacyjne problemy wieloskalowe. Wyniki były zróżnicowane: na problemach spektralnie złożonych, takich jak wielomodalne zagadnienia falowe, rozkład częstotliwości zmniejszył błąd względny L2 aż o 59,2 procent, natomiast na prostszych równaniach różniczkowych dał marginalne korzyści. Na jednym z testów (1D Wave) pełna architektura okazała się gorsza niż prostsza wariantna bez bramki.

Badanie ma praktyczne znaczenie dla społeczności pracującej nad PINNs - pokazuje, że techniki rozkładu częstotliwości i Fourier feature embeddings nie są uniwersalnym rozwiązaniem, lecz powinny być stosowane selektywnie w zależności od złożoności spektralnej problemu. Efektywność bramki adaptacyjnej skaluje się z bogatością spektralną rozwiązania, co sugeruje, że przyszłe podejścia mogą dynamicznie wybierać strategie w zależności od charakterystyki konkretnego równania.