BlockLock to nowa technika zapewniająca powtarzalność wnioskowania modeli językowych przy zachowaniu wydajności równoległego przetwarzania wielu żądań. Problem, który rozwiązuje, jest istotny w praktycznych aplikacjach - gdy kilka użytkowników wysyła żądania jednocześnie, model musi być w stanie generować identyczne odpowiedzi dla tego samego żądania, niezależnie od tego, jakie inne żądania są przetwarzane w tym samym batchu. Do tej pory rozwiązania albo ograniczały operacje kerneli dla całego batchu, albo izolowały żądania, tracąc na wydajności.
BlockLock wprowadza dwa warianty: BlockLock-Rows utrzymuje stałą szerokość rzędów i pozwala na wspólne przetwarzanie decode wszystkich żądań, a BlockLock-Pack używa zakotwiczonego pakowania z izolowanym segmentem pomocniczym. Oba warianty zachowują współdzielone obliczenia prefill - najkosztowniejszej części wnioskowania - jednocześnie chroniąc tylko ścieżkę numeryczną wybranego żądania poprzez ustalenie geometrii, którą ono widzi. To oznacza, że model może dalej pracować efektywnie na wielu żądaniach naraz, ale wybrane żądanie zawsze otrzymuje dokładnie taki sam wynik.
Wyniki testów na pięciu modelach (Qwen3-8B i 14B, Llama-3.1-8B-Instruct, Gemma-3-4B i 12B-IT) pokazują znaczące poprawy wydajności. BlockLock-Rows osiągnął zmniejszenie latencji o 53.5-55% oraz wzrost przepustowości o 115-122% w stosunku do vLLM z batch-invariant kernels. Oba warianty zachowały bitową dokładność wyników na testach benchmarkowych, co jest kluczowe dla aplikacji wymagających niezawodności. Badania przeprowadzono na pojedynczych GPU-ach (NVIDIA A6000, A100, H100) oraz wstępnie testowano na konfiguracjach tensor-parallel.