Badacze z Sakana AI zaprezentowali PC-ALM, wariant predictive coding, który umożliwia trenowanie głębokich sieci neuronowych wyłącznie przy użyciu lokalnych aktualizacji na każdej warstwie. Rozwiązanie to stanowi istotny postęp wobec tradycyjnego podejścia opartego na backpropagacji, która wymaga zsynchronizowanego przebiegu wstecznego przez całą sieć.
Głównym wyzwaniem dla dotychczasowych metod local learning, takich jak predictive coding, było to, że w głębokich i wąskich sieciach sygnały kredytowe zanikały, zanim dotarły do wejścia. PC traktuje każdą aktywację ukrytą jako zmienną optymalizacyjną i penalizuje niedopasowanie pomiędzy predykcją warstwy a wyjściem warstwy poniżej. PC-ALM rozwiązuje ten problem poprzez zastosowanie augmented Lagrangian, dzięki czemu zachowuje lokalne aktualizacje na każdej warstwie, jednocześnie odzyskując sygnały kredytowe zbieżne z backpropagacją.
Team testował metodę na sieci MLP z residualnymi połączeniami aż do 1000 warstw, osiągając wyniki zaledwie o 2 procent gorsze od backpropagacji na zbiorze MNIST. Badania zostały opublikowane jako open-source w postaci implementacji JAX na licencji MIT, którą można uruchomić na procesorze CPU. Należy jednak podkreślić, że jest to metoda treningu, a nie nowy model, i dotychczas przetestowano ją wyłącznie na małych benchmarkach widzenia komputerowego. Wyniki stanowią ciekawy punkt wyjścia dla przyszłych badań nad bardziej biologicznie inspirowanymi sposobami treningu sieci neuronowych.