Fundacja LightSeek opublikowała TokenSpeed, otwartoźródłowy silnik inferencji dla dużych modeli języków, który ma osiągać wydajność porównywalną z TensorRT-LLM. Narzędzie jest specjalnie zoptymalizowane dla obciążeń agentowych, gdzie szybkość generowania tokenów jest krytyczna. Projekt stanowi ważny krok w demokratyzacji wysokowydajnych narzędzi do wdrażania modeli AI, umożliwiając szerszemu gronu programistów pracę z zaawansowaną infrastrukturą inferencji.