Buoyant wydał Kinference v0.1.0-alpha.7, otwarty control plane łączący Kubernetes z vLLM w jeden warstwę zarządzającą inferencją. Projekt napisany w Rust z licencją Apache 2.0 działa jako brama przed flotą vLLM workerów, podejmując decyzje o kierowaniu każdego zapytania. Implementuje polityki routingu, limity tokenów, inteligentny load balancing uwzględniający KV-cache oraz metryki na poziomie dzierżawcy (tenant) - wszystko w jednej warstwie abstrakcji ponad serwerem modeli.
System składa się z dwóch części: bramy ruchu i handlera inferencji, który eksponuje interfejs gRPC. Konfiguruje się przez pięć Kubernetes CRD (Custom Resource Definitions) i działa na każdym klastrze Kubernetes z obsługą GPU i vLLM. W benchmarkach Buoyant użyto 3 GPU L40S na pool. Wyniki pokazują dramaty zysk wydajności dla traffic'u ze wspólnymi prefiksami - mediana TTFT (Time To First Token) spadła z 6,88 s do 0,31 s na workloadzie ze wspólnymi prefiksami, czyli 95-procentowa poprawa. To możliwe dzięki zaawansowanemu prefix cachingowi w vLLM.
Na zapytaniach bez wspólnych prefiksów zysk jest minimalny (6,92 s versus 6,83 s), co wskazuje że projekt najlepiej sprawdza się w określonych scenariuszach. Kinference kierowany jest przede wszystkim do zespołów development'owych serwujących wiele otwartych modeli (open-weight) wielu wewnętrznym klientom - rozwiązuje problem zarządzania multi-tenant platform, który dotychczas wymagał ręcznej konfiguracji lub hacków.