Naukowcy zaproponowali Local Linear Transformer (LLT), nową architekturę do uczenia się rozwiązywania równań różniczkowych cząstkowych za pomocą sieci neuronowych. Problem, który rozwiązuje nowy model, to nieefektywność standardowych transformatorów przy pracy z PDE - tradycyjna atencja wymaga obliczeń O(n²) względem liczby węzłów obliczeniowych i nie ma wbudowanego preferencji dla oddziaływań lokalnych, które są charakterystyczne dla większości zjawisk fizycznych.
LLT łączy linearną globalną atencję z lokalnym mieszaniem przestrzennym oraz włącza informacje o współrzędnych i geometrii problemu. Badacze przetestowali architekturę na pięciu różnych problemach fizycznych: elastyczności, plastyczności, przepływie wokół profilu lotniczego, przepływie w rurach i przepływie Darcy'ego. Dane referencyjne pochodziły z różnych metod dyskretyzacji - metody elementów skończonych, metody objętości skończonej i metody różnic skończonych na strukturalnych i niestrukturalnych sieciach. LLT osiągnął konkurencyjne lub niższe błędy L2 w porównaniu z innymi operatorami neuronowymi i transformatorami, a czas obliczeń na iterację treningu był 1,8 do 2,5 razy krótszy niż u modelu Transolver na dopasowanych strukturalnych dyskretyzacjach.
Ważność wyników polega na tym, że model skaluje się do realistycznych problemów - badacze zastosowali LLT do trójwymiarowego zbioru danych aerodynamiki samochodowej z ponad 32 tysiącami punktów na niestrukturalnej siatce. To sugeruje, że architektura może znacząco przyspieszać numeryczne symulacje skomplikowanych zjawisk fizycznych, co ma zastosowanie w inżynierii, badaniach klimatycznych i projektowaniu.