ttok 1.0 - narzędzie do liczenia tokenów z domyślnym wsparciem GPT-5/GPT-6

Simon Willison wydał wersję 1.0 narzędzia ttok, zmieniając domyślny tokenizer z GPT-4 na GPT-5 i GPT-6. Zmiana ta była konieczna, ponieważ stara wersja domyślnie używała przestarzałego modelu, podczas gdy nowe API OpenAI wymagały wsparcia dla najnowszych tokenizers.

Zmiana domyślna stała się zachętą do finalnego wydania 1.0, choć sprawa nie była całkowicie rozstrzygnięta - OpenAI nie potwierdziło oficjalnie, że GPT-6 używa tego samego tokenizera co rodzina GPT-5. W serwisie issues na GitHub'cie pojawiła się nawet zbulwersowana dyskusja na ten temat.

Jednak William Liu przeprowadził eksperyment testujący siedem modeli GPT - wersje 5.5, 5.6 oraz warianty Sol, Terra, Luna i Astra w GPT-6. Wszystkie siedem modeli raportowały identyczną liczbę 44794 tokenów i Match'owały się na każdym z 31 testowych fikstur. Oznacza to, że GPT-6 nie wprowadził żadnych zmian w liczeniu tokenów dla badanej zawartości, co potwierdza założenie Willesona.