Together AI opracował narzędzie do automatycznej naprawy klastrów GPU, które inteligentnie diagnozuje i naprawia problemy bez interwencji człowieka. System potrafi identyfikować awarie na trzech poziomach: samych procesorów GPU, węzłów hosta oraz połączeń sieciowych. Po wykryciu problemu algorytm wybiera najlekką możliwą naprawę - czyli działanie najmniej wpływające na pracę klastra.
Jednym z kluczowych elementów jest możliwość konfiguracji działania na podstawie kodów Xid (wewnętrzne identyfikatory błędów GPU). Użytkownicy mogą zdecydować dla każdego konkretnego błędu, czy system powinien go naprawiać automatycznie, czy czekać na polecenie człowieka. To daje im kontrolę nad procesem przy zachowaniu automatyzacji dla znanych i przewidywalnych problemów.
Rozwiązanie jest ważne dla organizacji trenujących duże modele AI, gdzie infrastruktura GPU działa pod dużym obciążeniem przez długie okresy. Zmniejszenie czasu przestoju spowodowanego awariami transluje się na wzrost produktywności i niższe koszty operacyjne. Automated self-healing to także odpowiedź na rosnącą złożoność zarządzania masywnymi klastami obliczeniowymi.