Google DeepMind wprowadził Decoupled DiLoCo, nową metodę treningu rozproszonego, która radykalnie zwiększa odporność systemów sztucznej inteligencji na awarie sieci i opóźnienia w komunikacji. Zamiast tradycyjnego podejścia, gdzie wszystkie węzły muszą być zsynchronizowane w reżimie czasu rzeczywistego, nowa metoda rozdziela obliczenia lokalne od synchronizacji globalnej - umożliwiając każdemu serwerowi pracę w swoim tempie bez czekania na pozostałe maszyny.
To rozwiązanie rozwiązuje jeden z najpoważniejszych wyzwań w treningu wielkich modeli na infrastrukturze rozproszonej. Dotychczasowe podejścia wymagały Perfect synchronizacji między tysiącami procesorów GPU i TPU, co oznacza że jedna wolna maszyna mogła spowolnić cały klaster. W rzeczywistości datacenter'ów pracuje to jak łańcuch - prędkość całego systemu zależy od najwolniejszego ogniwa. Decoupled DiLoCo rozluźnia te wymagania, pozwalając każdemu węzłowi na lokalny trening przez kilka kroków, a następnie asynchroniczną wymianę gradient'ów z innymi maszynami.
Znaczenie tego podejścia rośnie wraz ze skalą - im większy model i więcej węzłów używamy do treningu, tym bardziej problematyczna staje się koordynacja. Metoda Google'a nie tylko skraca czas całego procesu, ale też zwiększa stabilność treningu w warunkach rzeczywistych, gdzie opóźnienia i awarie są nieuniknione. To szczególnie ważne dla organizacji budujących własne modele na wielkich klasterach - mogą teraz efektywniej wykorzystać sprzęt i odczuwać mniejsze straty z powodu problemów infrastrukturalnych.