Deweloper Vixhal opublikował na GitHub eksperymentalny model qwenGPU, który integruje 45 warstw GPU bezpośrednio w architekturę modelu Qwen3.5-2B. Model całkowicie zmienia podejście do GPU - zamiast używać karty graficznej do obliczania modelu, GPU jest kompilowane i wbudowywane w wagi sieci neuronowej, uruchamiając prawdziwy kod CUDA w formacie NVIDIA PTX podczas normalnych forward pass'ów. Projekt dostępny jest na licencji MIT i całkowita architektura ma 69 warstw: 24 oryginalne z Qwen3.5 oraz 45 nowych warstw GPU, żaden z tych nowych słojów nie był trenowany - wagi zostały obliczone przez kompilator.
GPU wbudowana w model to maszyna 4-lane SIMT z 15 rejestrami na linię, 4-stopniowym pipelineiem, 32-blokowym ROM-em i 126 słowami pamięci. Architektura wykorzystuje jedynie własne typy warstw Qwen3.5: Gated DeltaNet linear attention i SwiGLU MLP-y. Kluczowa sztuczka leży w stanie cyklicznym Gated DeltaNet - brama pozostaje otwarta z siłą zapisu równą 1, każdy klucz jest one-hot, a każda aktualizacja nadpisuje dokładnie jeden wiersz pamięci. Model wymaga około 16 GB wolnej pamięci i działa na Apple silicon, GPU NVIDIA oraz CPU, osiągając wydajność 10-15 tokenów na sekundę na Apple MPS.
Wydajność eksperymentu jest imponująca - każde uruchomienie u dewelopera było dokładne, ze zmianą tekstu na poziomie KL około 7e-4, a referencyjna interpretacja GPU dopasowała się do rzeczywistego NVIDIA Tesla T4 na wszystkich 49 kernelach. To podejście otwiera nowe możliwości dla badań nad tym, jak transformery mogą enkapsulować obliczenia specjalistyczne bezpośrednio w swoim kontekście, zamiast polegać na zewnętrznych narzędziach.