Naukowcy z arXiv zaproponowali Response Renormalization, metodę rozwiązującą problemy ze stabilnością Deep Equilibrium Models, które obliczają przewidywania na podstawie reprezentacji ukrytej pozostającej niezmienna w ramach aktualizacji modelu. Trening DEQ-ów wymaga niejawnego zróżniczkowania i rozwiązania systemu sprzężonego zbudowanego z macierzy jacobianów residualnych, ale gdy ta macierz jest prawie osobliwa w kierunkach wrażliwych na funkcję straty, dochodzi do problemu: małe perturbacje zostają silnie wzmacniane w odpowiedzi sprzężonej, generując duże i wysoce czułe gradienty.
Zaproponowana technika polega na "podnoszeniu" wybranych mianowników bliskich biegunom w przejściu wstecz, pozostawiając niezmienione pozostałe kanały odpowiedzi. Collective Mode Response Renormalization (CMR) zastosowuje tę korekcję w niskowymiarowej przestrzeni krytycznej, podczas gdy wariant Phi-adaptive CMR oblicza ograniczoną masę odpowiedzi na podstawie reguły dodatniej podatności. Badacze wyprowadzili zarówno gęste jak i macierzowo-wolne sformułowania oraz rozszerzyli metodę na Structured Implicit Layers i Vector Attractors (SILVA).
Wyniki eksperymentów na 23 rodzinach problemów multifizyki obejmujących równania różniczkowe cząstkowe, pola trójwymiarowe, mapy operatorów, złożone geometrie i systemy cząsteczkowe pokazują, że CMR i Phi-CMR dają błędy testowe nie wyższe niż 5 procent od modeli trenowanych dokładną niejawną różniczkowaniem w ponad 98 procent przypadków statycznych i 95 procent przypadków przejściowych. To znaczący postęp w uczynieniu DEQ bardziej praktycznymi i stabilnymi do rzeczywistych zastosowań.