Google DeepMind opublikował właśnie nową metodę trenowania sztucznej inteligencji o nazwie Decoupled DiLoCo, która może działać wydajnie nawet wtedy, gdy spora część sprzętu się psuje. To przełom dla trenowania gigantycznych modeli na ogromnych klastrach komputerów, gdzie awarie są praktycznie nieuniknione. Architektura osiąga 88 procent efektywności - czyli goodput - nawet przy wysokich wskaźnikach uszkodzonych węzłów, co oznacza, że możemy trenować modele szybciej i taniej niż dotąd.
Problem, który rozwiązuje Decoupled DiLoCo, dotyczy skali. Gdy trenujemy największe obecnie modele języka czy multimodalne, używamy tysięcy procesorów GPU czy TPU pracujących razem. Synchronizacja między nimi jest czasochłonna, a każda awaria pojedynczego urządzenia może zatrzymać cały proces - tak zwany straggler problem. Nowy algorytm działa asynchronicznie, co oznacza, że poszczególne grupy węzłów mogą pracować niezależnie przez dłuższy czas, a następnie koordynować wyniki. Dzięki temu stracimy na wydajności znacznie mniej, nawet jeśli coś się zepsuje.
To szczególnie ważne dla firm takich jak Google, które budują modele na skalę miliardów parametrów. Stanowi to również ścieżkę do bardziej dostępnego trenowania: jeśli możemy efektywnie pracować z niedoskonałą infrastrukturą sprzętową, to instytucje o mniejszych budżetach mogą lepiej konkurować z gigantami. Decoupled DiLoCo pokazuje, że przyszłość trenowania AI to nie tylko szybsze chipy, ale też inteligentniejsze algorytmy, które potrafią pracować w realnych, chaotycznych warunkach produkcyjnych.