Naukowcy z arXiv zaproponowali SheafDEQ - nową architekturę deep-equilibrium networks, która łączy bogatsze transformacje neuronowe z matematycznymi gwarancjami konwergencji. Problem tkwi w tym, że dotychczasowe Implicit Graph Neural Networks wymagały ograniczeń na aktualizacje, aby gwarantować unikalny punkt równowagi, co ograniczało ich ekspresyjność.
SheafDEQ rozwiązuje to za pomocą adaptacyjnych map ograniczeń sheafów o wartościach macierzowych, które mogą wyrównywać, mieszać lub odwracać reprezentacje sąsiednich węzłów. Autorzy udowodnili matematycznie, że pod pewnymi warunkami regularności architektura gwarantuje unikalną równowagę osiąganą globalnie poprzez iteracyjne poszukiwanie punktu stałego z dowolnej dodatniej inicjalizacji. Ważne jest, że kontrakcyjność gwarantuje także konwergencję nawet w warunkach opóźnionej komunikacji - istotne dla systemów rozproszonych.
Experymenty wykazały przewagę SheafDEQ nad istniejącymi architekturami na zadaniach takich jak Sums, MNIST Terrain i Coordinates, a także na detekcji społeczności w grafach, gdzie relacje crosscommunity stają się coraz ważniejsze. To rozwiązanie jest szczególnie istotne dla systemów wymagających powtarzanej agregacji nielokalnej, gdzie mogą pojawić się opóźnienia w przetwarzaniu.