DeepSeek open sourcuje DeepInfer - swój produkcyjny system inference obsługujący 155 bilionów tokenów dziennie. To potężna infrastruktura zbudowana na bazie vLLM z dodatkami od SGLang i TRRTLLM, która zmienia krajobraz wolnodostępnych narzędzi do obsługi dużych modeli. System już dziś osiąga szacunkowy przychód 22 milionów dolarów dziennie z marżą około 80 procent, co daje zwrot z inwestycji w ciągu 81 dni.
DeepInfer wyróżnia się obsługą do 72 godzin prompt cachingu - znacznie więcej niż niedawno ogłoszone 12 godzin u OpenAI. Kluczową siłą systemu jest zoptymalizowany cache KV o czasie życia ponad 8 godzin, dystrybucja obciążenia oraz segregacja prefiksów. Architektura obsługuje 1,5 miliona tokenów wejściowych na sekundę w fazie prefillu na GPU, osiąga 96 procent wskaźnik trafień cache i generuje 14 tysięcy tokenów wyjściowych na sekundę w fazie dekodowania przy użyciu około 2400 GPU.
To znaczący moment dla ekosystemu inference. Przez lata dominowały tu zamknięte rozwiązania od venture-fundowanych startup-ów, a teraz DeepSeek pokazuje, że efektywny, zyskowny system można udostępnić szeroko dla społeczności. Open sourcing DeepInfer podczas PyTorch Conference zmienia dynamikę rywalizacji - inne firmy będą musiały się zmierzyć ze standartem wydajności i kosztoefektywności, który właśnie został ustalony. Jednak DeepSeek chroni swoje najcenniejsze IP - ultra-zoptymalizowany cache KV i zaawansowaną dystrybucję pozostawia w zamkniętym kodzie.