Hugging Face dodała obsługę 4-bitowej inferencji Nunchaku do biblioteki Diffusers, co otwiera możliwość uruchamiania modeli dyfuzji na znacznie słabszych urządzeniach. Nunchaku to technika kwantyzacji specjalizująca się w kompresji modeli generatywnych bez utraty istotnej jakości wyników.
Ta integracja jest ważna, bo modele dyfuzji takie jak Stable Diffusion czy DALL-E wymagają ogromnie dużo pamięci GPU. Obniżenie wymagań pamięciowych do 4 bitów zamiast 32-bitowych zmiennoprzecinkowych liczb to potencjalnie zmiana rzędu wielokrotności. Dzięki temu programiści mogą teraz eksperymentować z generowaniem obrazów na zasobach bardziej dostępnych - w laptopach czy słabszych kartach graficznych, a nie tylko na profesjonalnych centrach danych.
Wdrożenie w Diffusers to kluczowy ruch, bo ta biblioteka jest standardem branżowym dla pracy z modelami dyfuzji. Ułatwiony dostęp do wydajnej inferencji może przyspieszyć eksperymentowanie z AI generacyjnym i sprawić, że technologia stanie się bardziej demokratyczna.