Perplexity AI otworzył kod tokenizera Unigram, który osiąga 5-krotnie niższą latencję p50 w porównaniu z implementacją HuggingFace. Tokenizer to kluczowy komponent przetwarzania tekstu w modelach AI, odpowiadający za konwersję słów na tokeny. Udostępnienie tej technologii może znacznie przyspieszyć przetwarzanie danych w aplikacjach LLM i uczynić modele bardziej efektywnymi, szczególnie w scenariuszach wymagających pracy w czasie rzeczywistym.