Badacze z Moonshot AI i Uniwersytetu Tsinghua zaproponowali PrfaaS, innowacyjną architekturę KVCache działającą między datacenterami, która zmienia sposób serwowania dużych modeli językowych w skali.
Badania
MarkTechPost
Badacze z Moonshot AI i Uniwersytetu Tsinghua zaproponowali PrfaaS, innowacyjną architekturę KVCache działającą między datacenterami, która zmienia sposób serwowania dużych modeli językowych w skali.