Naukowcy zaprezentowali Local Linear Transformer (LLT), nową architekturę neuronową dedykowaną do uczenia się operatorów równań różniczkowych cząstkowych. Problem, który rozwiązują, jest fundamentalny dla fizyki obliczeniowej: tradycyjne transformery mają kwadratową złożoność obliczeniową względem liczby węzłów, a ponadto brakuje im jawnego nacisku na interakcje lokalne, które są kluczowe w symulacjach fizycznych.
LLT łączy dwie kluczowe innowacje - globalną liniową uwagę oraz lokalne mieszanie przestrzenne - i wzbogaca to informacją o współrzędnych i geometrii domeny. Badacze testowali architekturę na zaawansowanych problemach fizycznych: elastyczności, plastyczności, przepływie wokół profilu aerodynamicznego, przepływie w rurach i przepływie Darcy'ego. Dane treningowe pochodzą z różnych metod numerycznych (elementów skończonych, skończonych objętości, różnic skończonych) zarówno na siatkach strukturalnych, jak i niestrukturalnych.
Wyniki są obiecujące - LLT osiąga konkurencyjny lub niższy błąd względny L2 w porównaniu z innymi modelami neuronowych operatorów i transformerami z wcześniejszych badań. Na dopasowanych dyskretyzacjach strukturalnych czas obliczeń na jedną iterację treningową zmniejszył się 1,8 do 2,5 razy w stosunku do Transolvera. Badacze skalowali metodę nawet na trójwymiarowym zbiorze danych aerodynamiki samochodu z 32 186 punktami na niesturkturalnej siatce. To sugeruje, że LLT może stać się istotnym narzędziem do przyspieszania symulacji fizycznych w przemyśle.