PrismML wydał Bonsai 27B - skompresowaną reprezentację modelu Qwen3.6-27B bez zmian w architekturze. Projekt obejmuje dwa warianty na licencji Apache 2.0: wariant ternarny z wagami ze zbioru {-1, 0, +1} zajmujący 5.9GB i wariant binarny z wagami {-1, +1} zajmujący 3.9GB. Oba modele są multimodalne i zachowują pełne możliwości wizyjne originalnego Qwen3.6-27B.
Metoda kompresji opiera się na eleganckim systemie kodowania: każda waga jest reprezentowana jako iloczyn wartości ternarnej lub binarnej oraz wspólnej skali FP16 na grupę 128 wag. Wariant ternarny osiąga 1.71 bitów na wagę (redukcja 9.4x względem FP16), a wariant binarny 1.125 bitów na wagę (redukcja 14.2x). Kontekst rozszerza się do 262K tokenów, co praktycznie działa dzięki liniowej architekturze attention w około 75% modelu. Normalizacja i parametry skalujące pozostają w wyższej precyzji - to zaledwie znikomy ułamek całej sieci.
Podejście Bonsai znacznie odbiega od BitNet i podobnych metod, które wymagają ponownego trenowania od zera. Tutaj kompresja działa na już wytrenowanym modelu, co czyni ją praktyczną dla istniejących deploymentów. Obie wersje będą działać na laptopach i smartfonach, otwierając nowe możliwości dla lokalnych aplikacji AI bez chmury.