Izraelski startup Majestic Labs, założony w 2023 roku przez byłych pracowników Google i Meta, twierdzi że ma rozwiązanie dla największego problemu AI - i nie jest to większa moc obliczeniowa. Firma zaprezentowała właśnie serwer, który według jej twierdzeń wykonuje pracę całej szafy pełnej GPU Nvidia, osiągając to poprzez zmianę podejścia do architektury sprzętu.
Dotychczasowe dyskusje w branży skupiały się na compute - ile operacji na sekundę może wykonać procesor, jak skalować modele do większych rozmiarów. Ale Majestic Labs przekonuje, że to myślenie prowadziło do ślepej uliczki. Rzeczywistym wąskim gardłem, zwłaszcza przy działaniu dużych modeli języka, jest dostęp do pamięci i przepustowość danych między nią a jednostkami przetwarzającymi. GPU mogą być szybkie, ale pobieranie danych z pamięci generuje opóźnienia i energochłonność.
Jeśli założenie firmy jest słuszne, może to mieć duże konsekwencje dla branży. Obecny paradygmat opiera się na GPU, które są drogie i deficytowe. Podejście Majestic Labs sugeruje, że da się zrobić więcej za mniej pieniędzy poprzez lepszą organizację pamięci i przepływu danych. To potencjalnie otwiera AI dla większej liczby firm oraz zmienia całą dynamikę wyścigu o dominację w sprzęcie AI.