Od paperu Google z 2017 roku zatytułowanego Attention Is All You Need transformery stały się fundamentem całej branży sztucznej inteligencji. Ta architektura okazała się niezwykle efektywna w przetwarzaniu długich sekwencji danych zwłaszcza tekstu. Jednak po dziewięciu latach raczej pokazuje już oznaki wieku. Ostatnie innowacje w dziedzinie LLM-ów od modeli zdolnych do złożonego rozumowania po systemy przetwarzające ogromne ilości danych wejściowych to już nie naturalne rozszerzenia transformerów ale raczej zakamarki łatające ich fundamentalne braki.
Całą branżę AI czeka zmiana paradygmatu. Justin Dangel, współzałożyciel startupu Subquadratic, przyznaje że transformery to jedna z najważniejszych innowacji w historii informatyki która zmieniła świat. Ale teraz pytanie co będzie dalej to nie jest teoretyczne - to praktyczne wyzwanie stojące przed setkami firm. MIT Technology Review wprowadził termin LLM+ by opisać następną generację tych systemów.
Fala startupów powstaje właśnie teraz by przesunąć granice tej technologii. Wiele z nich pewnie się nie powiedzie, ale branża czeka na rewolucję - nie tyle koniec ery LLM-ów ile transformacja tego jak się je buduje. To otwiera drzwi dla fundamentalnie nowych podejść do przetwarzania i rozumienia języka.