Underdog Saluki 27B to zdecydowanie zmniejszona wersja Qwen3.8-27B, która redukuje rozmiar z 54 GB do zaledwie 7,9 GB dzięki 2-bitowej kwantyzacji, jednocześnie utrzymując sprawne działanie narzędzi do wywoływania funkcji. Model zbudowany na technologii GSQ-RCO od ISTA-DASLab osiąga porównywalne wyniki jak pełna wersja na wewnętrznym benchmarku 120 zadań.
Poradnik przedstawia praktyczne porównanie obu modeli w środowisku llama.cpp, obserwując zarówno wykorzystanie pamięci GPU, jak i szybkość działania. Autorzy testują pliki GGUF na Berkeley Function Calling Leaderboard, używając standardowego testera z dwoma poziomami rygorystyczności - strict i lenient parsing - aby sprawdzić zdolność modelu do prawidłowego interpretowania zadań wymagających użycia narzędzi.
Ważność tego odkrycia polega na potencjale demokratyzacji dostępu do zaawansowanych modeli językowych. Zmniejszenie rozmiaru modelu o połowę bez istotnej utraty wydajności otwiera możliwość uruchamiania zaawansowanych narzędzi na konsumenckiej karcie graficznej czy nawet CPU, co może zrewolucjonizować dostępność AI dla małych zespołów i indywidualnych programistów. Sukces tego eksperymentu może inspirować dalszą optymalizację i standardyzację efektywnych technik kompresji dla współczesnych dużych modeli.