Google Cloud wydał llm-d 1.0, pierwszą stabilną wersję rozproszonego stosu do wnioskowania, otwierając projekt na konferencji PyTorch Conference North America. Projekt stanowi warstwę Kubernetes-native, która łączy serwery vLLM lub SGLang w skoordynowany pool - rozwiązanie skierowane szczególnie do self-hosted agentów i workloadów reinforcement learning, gdzie tradycyjny round-robin load balancing zawodzi.
llm-d rozwijany jest od 2025 roku przez konsorcjum obejmujące Google Cloud, Red Hat, IBM, CoreWeave i NVIDIA, ze wsparciem ponad 500 deweloperów z 25 organizacji. Projekt należy do CNCF Sandbox i jest udostępniany na licencji Apache 2.0. Nowa wersja 1.0 skupia się na niezawodności w produkcji - co IBM określa jako day 2 operations. Stack wspiera karty NVIDIA, AMD, Intel oraz Google TPU uruchamiane na Kubernetesie.
Najważniejszymi ulepszeniami w llm-d 1.0 są cache-aware routing, tiered KV cache offload i prefill/decode disaggregation. Google opublikował benchmark na 17 tys. węzłów multi-region GKE deployment z TPU Ironwood, gdzie median time-to-first-token (TTFT) spadł o ponad 85%, a przepustowość wzrosła 2,4x. Jednak na workloadach z time-slicingiem dla reinforcement learning urządzenia akceleracyjne pracują powyżej 70% pojemności, co pozostawia około 30% czasu idle.