DeepSeek opublikował DeepInfer jako projekt open-source na licencji Apache 2.0, udostępniając framework inferencji, który napędza jego produkcyjne usługi. System został pierwotnie zbudowany głównie na bazie vLLM z pomysłami zaczerpniętymi z SGLang i TensorRT-LLM.
Framework wspiera model DeepSeek-V4.1-Flash z maksymalnym oknem kontekstu 1M tokenów i jest optymalizowany dla GPU NVIDIA SM100 (Blackwell) oraz procesorów Huawei Ascend 950. W testach wydajności DeepInfer osiągnął produkcyjną przepustowość ponad 25 000 tokenów wyjściowych na sekundę na GPU przy 256 żądaniach na rank, podczas gdy jeden klaster DeepSeek obsługuje łącznie 155 bilionów tokenów dziennie. Deweloperzy otrzymali również deepseek-recipe - warstwę kodowania i dekodowania tokenów na licencji MIT.
Udostępnienie tego kodu stanowi niezwykłą okazję do zapoznania się z rzeczywistym stosem infrastrukturalnym frontier lab. Jednak framework ma ograniczenia - wspiera tylko inferencję offline i nie zawiera systemów buforowania KV, disagregacji prefill/decode ani zaawansowanego load balancingu. To rozwiązanie pokazuje praktyczne podejście DeepSeek do obsługi wielkoskalowych usług inferencji przy kosztach około 38 dolarów za GPU-godzinę.