DeepSeek oficjalnie otwarł kod DeepInfer, swojego produkcyjnego systemu do wnioskowania modelami językowymi, co stanowi przełom dla otwartego oprogramowania w sektorze inference'u. System bazuje na vLLM, ale znacznie go rozszerza, inspirując się także SGLang i TensorRT-LLM, choć DeepSeek nie ujawnił swoich najbardziej wrażliwych optymalizacji, takich jak ultra-zoptymalizowany cache KV czy zaawansowaną segregację zasobów.
Podczas PyTorch Conference DeepSeek zaprezentował imponujące liczby: jego system obsługuje do 155 bilionów tokenów dziennie na klastrze i osiąga 72-godzinne cache'owanie promptu - sześć razy dłuższe niż niedawno ogłoszone przez OpenAI 12 godzin. Przy obecnych cenach (0,15 dolara za milion input tokenów, 0,60 za output), generuje to szacunkowy przychód około 22 milionów dolarów dziennie przy marży zbliżającej się do 80 procent, dając zwrot inwestycji w ciągu 81 dni. Infrastruktura wykorzystuje około 2400 GPU (karty takie jak SM100 czy A950) z impresyjnym 96-procentowym trafnikiem cache'u dla inputu.
To wydanie ma istotne implikacje dla całego sektora AI. Dotychczas liderami w optymalizacji inference'u były zamknięte startropy jak Fireworks, Baseten czy Modal, ale DeepSeek wprowadza pierwszą poważną open source'ową alternatywę. Otwarcie tego rozwiązania może zmienić dynamikę rynku, pozwalając innym firmom i badaczom na budowanie własnych, wysoce efektywnych systemów inference'u zamiast polegania na proprietary'nych dostawcach.