Badacze z arXiv kwestionują efektywność kosztów tradycyjnych tablic embedingów w małych modelach językowych, proponując zamrożoną tabelę o rozmiarze zaledwie 16 MB zamiast milionów trenowalnych parametrów. W Gemmie 3 270M tablica embedingów stanowi 168 milionów z 268 milionów wszystkich parametrów - jest to najbardziej masywna część modelu, a nawet po kompresji reszty sieci pozostaje dominującym składnikiem pliku ze względu na wymóg 16-bitowej precyzji.
Zamiast trenować embeddingi od zera, naukowcy zaproponowali jednokrotnie utworzoną zamrożoną tabelę o 512-bitowych kodach, wygenerowaną z pretrenowanych embedingów poprzez projekcję głównych składowych i binaryzację znaku. Kiedy wytrenowali identyczną architekturę Gemmy zarówno z tradycyjnymi embedingami, jak i zamrożoną tabelą na identycznym zbiorze 2,05 miliarda tokenów, wyniki były zaskakujące: chociaż tradycyjna tablica wygrała na walidacyjnej stracie (o 0,20 natów), zamrożona tablica osiągnęła lepsze lub równe wyniki na testach LAMBADA, HellaSwag i PIQA. Zamrożona metoda radzi sobie zwłaszcza lepiej z rzadkimi słowami, tracąc 1,7-2,3 natów mniej niż standardowe podejście.
W praktyce oznacza to revolutionizację wydajności na urządzeniach brzegowych. Gdy naukowcy zastosowali ternarne ciała BitNet b1.58 z zamrożoną tabelą, całość modelu zmieściła się w 46 MB - przy zachowaniu parytetów wydajności z pełnymi modelami float na LAMBADA i PIQA. Najważniejsze: na procesorze CPU laptopa model generuje 615 do 740 tokenów na sekundę, używając zaledwie 62 MB pamięci. To pięć do sześciu razy szybciej niż float-model w 8-bitowej wersji GGUF w llama.cpp, przy użyciu jedynie siódmej części wymaganej pamięci. Dodatkową zaletą jest możliwość zaakceptowania 10 000 nowych słów po treningu z zaledwie 3-procentową stratą wydajności, podczas gdy tradycyjna tablica w tej samej sytuacji traci 43 procent wydajności.