OpenAI i Broadcom zaprezentowały specjalistyczny chip do inferencji, zaprojektowany specjalnie dla optymalizacji działania dużych modeli językowych. To wynik wspólnej współpracy mającej na celu stworzenie sprzętu lepiej dostosowanego do potrzeb современnych sieci neuronowych niż powszechnie dostępne rozwiązania ogólnego przeznaczenia.
Specjalizowany hardware to ważny kierunek rozwoju dla branży AI. Większość firm obecnie opiera się na GPU firmy Nvidia, które były pierwotnie projektowane do obliczeń ogólnych i grafiki. Nowy chip Broadcoma może zmniejszyć koszty operacyjne wdrażania LLM poprzez bardziej efektywne wykorzystanie energii i obliczeniowej mocy. To szczególnie istotne dla dużych modelów wymagających znacznych zasobów w fazie inferencji.
Ruch ten odzwierciedla szerszą tendencję w branży AI, gdzie duże laboratoria de facto zaczynają projektować swój własny sprzęt zamiast polegać wyłącznie na producentach chipów. Podobne inicjatywy podejmują Meta, Google i inne firmy technologiczne. Jeśli OpenAI i Broadcom osiągną znaczące korzyści wydajnościowe i finansowe, może to skłonić innych graczy do podobnych inwestycji, przekształcając krajobraz infrastruktury AI.