Hugging Face opublikowała nowe podejście do ciągłego batching'u, które wykorzystuje asynchroniczność w celu zwiększenia wydajności obsługi żądań w modelach AI. Teknika umożliwia lepsze wykorzystanie zasobów GPU poprzez nieblokujące przetwarzanie, co prowadzi do zmniejszenia opóźnień i zwiększenia throughput'u. To ważne dla skalowania serwisów AI, gdyż pozwala obsłużyć więcej żądań jednocześnie bez znaczącego wzrostu czasu odpowiedzi.