Marcel Rød, doktorant ze Stanford, wydał Gigatoken - tokenizer BPE napisany w Rust-ie, który koduje tekst z szybkością 24,53 GB/s. Wyniki benchmarków są zdumiewające: na 11,9 GB danych owt_train.txt z wykorzystaniem 144 rdzeni AMD EPYC 9565, Gigatoken uzyskuje 24,53 GB/s, podczas gdy tiktoken OpenAI osiąga zaledwie 36,0 MB/s, a HuggingFace tokenizers 24,8 MB/s. To oznacza przewagę 681x nad OpenAI i 989x nad HuggingFace na tej samej konfiguracji sprzętu.
Biblioteka nie ogranicza się do jednej architektury procesora czy jednego słownika. Na Apple M4 Max z 16 rdzeniami ten sam tokenizer GPT-2 działa z prędkością 8,79 GB/s (1,268x HuggingFace, 140x tiktoken), a na konsumenckim AMD Ryzen 7 9800X3D osiąga 6,27 GB/s (106x i 68x respective przyspieszenia). Gigatoken obsługuje 23 różne rodziny tokenizatorów, od GPT-2 i GPT-OSS przez Llama 3-4, Qwen 2-3.6, DeepSeek V3/V4 aż po GLM 4-5 i inne. Jest dostępny na PyPI (wersja 0.9.0 z lipca 2026) pod licencją MIT.
To pierwszy projekt, który traktuje tokenizację jako prawdziwe wąskie gardło w stosie modeli językowych i podchodzi do jej optymalizacji profesjonalnie. Większość zespołów praktycznie nie profiluje tokenizacji, traktując ją jako nieistotną część pipeline'u. Gigatoken zmienia tę perspektywę, pokazując że nawet o wielkości rzędu 1000x możliwe do osiągnięcia przy odpowiedniej optymalizacji kodu. Dla operacji przetwarzających miliardy tokenów dziennie (jak trenowanie czy inference dużych modeli), taka przyspieszenie może znacząco zmniejszyć czasy oczekiwania i koszty obliczeniowe.