Dory 1.0 4B od NVIDIA to model rozumowania z unikalną architekturą opartą na współdzielonych warstwach pośrednich. Zamiast standardowego projektu sieci neuronowej, model ma możliwość wielokrotnego zastosowania tych samych warstw do każdego tokenu - można uruchomić je raz, dwa razy, trzy lub cztery razy bez zmiany liczby parametrów. To oznacza, że jeden checkpoint może działać przy czterech różnych budżetach obliczeniowych, dostosowując się do wymagań sprzętowych bez konieczności przeucza modelu.
Poradnik zawiera kompleksową instrukcję od pobrania odpowiedniej gałęzi llama.cpp aż po uruchomienie serwera i ocenę wydajności. Autorzy pobierają 3.7 GB plik GGUF i analizują architekturę bezpośrednio z danych, aby przewidzieć koszty parametrów i pamięci cache dla każdego wariantu pętli. Następnie weryfikują teoretyczne prognozy wobec rzeczywistych pomiarów na działającym serwerze, mierząc szybkość dekodowania przy każdej liczbie pętli.
Ważną częścią evaluacji jest badanie wpływu ilości pętli na dokładność modelu. Zespół przeprowadza sparowane testy na benchmarku GSM8K, mierząc jak zmienia się dokładność odpowiedzi, długość generowanego tekstu i czas potrzebny do rozwiązania każdego problemu. Poradnik pokazuje praktyczne zastosowanie tej elastyczności - deweloperzy mogą wybrać punkt równowagi między jakością odpowiedzi a szybkością i zużyciem zasobów, w zależności od swoich potrzeb aplikacyjnych.