Google DeepMind opublikował nową architekturę treningu o nazwie Decoupled DiLoCo, która osiąga 88% efektywności (goodput) nawet przy wysokim wskaźniku awarii sprzętu, umożliwiając skalowalne trenowani
Badania
MarkTechPost
Google DeepMind opublikował nową architekturę treningu o nazwie Decoupled DiLoCo, która osiąga 88% efektywności (goodput) nawet przy wysokim wskaźniku awarii sprzętu, umożliwiając skalowalne trenowani