Startup Subquadratic twierdzi, że rozwiązał matematyczne wąskie gardło hamujące postęp w rozwoju dużych modeli językowych przez niemal dziesięć lat. Firma wyszła z ukrycia zeszłego miesiąca z tym ambitnym oświadczeniem, jednak szczegóły były skąpe, a znaczna część branży pozostała skeptyczna wobec tych roszczeń.
Takie wąskie gardła w architekturze transformer'ów są kluczowymi przeszkodami w skalowalności LLM-ów. Problem dotyczył wydajności obliczeń przy przetwarzaniu sekwencji danych — im dłuższa sekwencja, tym większe zużycie zasobów i wolniejsze działanie modeli. Subquadratic zaczyna jednak przedstawiać dowody na poparcie swoich twierdzeń, co wzmacnia wiarygodność startupu.
Jeśli Subquadratic rzeczywiście znalazł skuteczne rozwiązanie, mogłoby to mieć przełomowy wpływ na cały sektor AI. Mogłoby umożliwić trenowanie większych modeli przy mniejszych kosztach obliczeniowych, lepsze przetwarzanie dłuższych kontekstów oraz ogólnie przyspieszyć развój sztucznej inteligencji. Na razie branża czeka na pełne ujawnienie szczegółów i niezależną weryfikację tych osiągnięć.