Google udostępnia TorchTPU - natywny backend PyTorch dla Cloud TPU

Google open-sourcuje TorchTPU, natywny backend PyTorch dla Cloud TPU, opracowany wspólnie z Meta i ogłoszony na PyTorch Conference 2026 w październiku 2026 roku. Nowe rozwiązanie pozwala uruchamiać istniejący kod PyTorch bezpośrednio na TPU poprzez standardowy interfejs torch.device("tpu"), bez konieczności stosowania zawiłych obejść czy konwersji. TPU dołączają teraz do GPU i CPU jako natywne urządzenie PyTorch, co znacznie upraszcza pracę dla developerów.

TorchTPU to kompletny stack oprogramowania, nie pojedynczy model. Google wydał cztery otwarte repozytoria - TorchTPU, vLLM-TorchTPU, SGLang-TorchTPU i TorchTitan. Wersja v0.2.0 dostępna na PyPI wymaga Python 3.11+ i wydana pod licencją Apache 2.0. System działa na Google Cloud TPU od generacji v5e wzwyż, testowany na skalach aż do 8192 chipów Ironwood (TPU7x). TorchTPU obsługuje różne formaty precyzji numerycznej - FP8, MXFP4 i NVFP4 dla checkpointów modeli.

Główna różnica względem poprzednika PyTorch/XLA to zupełnie zmienione podejście. Stare rozwiązanie pracowało na leniwych tensorach i wymagało ręcznego zaznaczania regionów kodu do kompilacji, wspierało tylko czysty kod SPMD. TorchTPU pracuje z zwykłymi PyTorch tensorami bez subklas czy wrapperów, jeden proces na urządzenie i naturalnie obsługuje tensor views oraz in-place mutations. Dla wydajności oferuje tryb eager do debugowania oraz torch.compile do produkcji - najlepsze wyniki to 52% MFU przy treningu Qwen 3 8B na Ironwood. W nieoptymalizowanym przypadku eager mode potrzebował 11,49 sekundy na krok fine-tuningu, podczas gdy w pełni dostrojona wersja robiła to w 2,78 sekundy.