OpenAI opracowało custom chip Jalapeño razem z Broadcomem, aby zmniejszyć ogromne koszty infrastruktury stojące za uruchamianiem ChatGPT na skalę miliardów użytkowników. Chip jest zoptymalizowany konkretnie dla inference'u dużych modeli językowych, a nie dla ogólnych zastosowań AI. Projektowanie ponad rok zajęło zespołom obu firm - OpenAI dostarczył architekturę bazową na podstawie swoich modeli, a Broadcom odpowiadał za inżynierię krzemowych i integrację sieci wysokowydajności.
Finanse OpenAI są napięte ze względu na skalę operacji. Utrzymanie ChatGPT pochłonęło minionego roku 8,4 miliarda dolarów, podczas gdy platforma ma już 900 milionów tygodniowych użytkowników. Kosztorys na ten rok to około 14 miliardów dolarów. Na tym tle przychody OpenAI wynoszące 25 miliardów dolarów rocznie mogą wydawać się solidne, ale spółka operuje na marginesie zaledwie 33 centów od każdego dolara, gdy Nvidia zarabia 75 procent marży na swoich procesorach. To właśnie skłoniło OpenAI do inwestycji w własny hardware.
Wschemat transformacyjny jest długoterminowy - OpenAI zobowiązała się do wydania 1,4 tryliona dolarów na moc obliczeniową przez osiem lat. Dla kontekstu, to więcej niż roczny przychód firmy. Chip Jalapeño to część szerszej strategii uniezależnienia się od Nvidii i przechwycenia części marż, które obecnie przypadają chipmakerowi. Sukces tego przedsięwzięcia może fundamentalnie zmienić ekonomię dużych modeli językowych.