Zespół badawczy zbudował działający klaster DumpsterCluster z 128 starszych GPUów o łącznym koszcie 22 tysięcy dolarów, wykazując że porzucony sprzęt z centrów danych może wznowić karierę w serwowaniu nowoczesnych dużych modeli języka. Przy użyciu optymalizacji pipeline-parallel na GPU V100 system osiągnął konkurencyjną przepustowość dla LLaMA-70B, a jego cena stanowi ledwie 3-4 procent kosztu najnowszych 8-GPU systemów B200. To odkrycie rozprawia się z przekonaniem że starszy sprzęt jest bezużyteczny dla współczesnych zadań AI.
Ale tu pojawia się złożoność - fizyczne badania trwające rok ujawniły, że emeryturowane GPU generują znacznie wyższe koszty energii na token. W strefach z przeciętną intensywnością węglową sieciową, drugie życie GPU może wytwarzać około 4-krotnie wyższe całkowite emisje węglowe na token dla modeli 8B, a dla 70B nawet ponad 40-krotnie wyższe niż współczesny sprzęt. Rentowność całkowita zależy przede wszystkim od ceny prądu - w regionach z tanim i czystym zasilaniem system staje się zarówno ekonomicznie jak i środowiskowo uzasadniony.
Badania sugerują że repurposing GPUów nie może być strategią uniwersalną. Sukces wymaga dopasowania - tańsze drugie-ręczne GPU w datacenterach zasilanych energią odnawialną stanowią rozwiązanie, podczas gdy ta sama sprzęt zasilany węglem może być gorszy dla planety niż nowy hardware. Artykuł otwiera dyskusję o odpowiedzialnym recyklingu sprzętu AI w zależności od lokalnych warunków energetycznych.