Transformery, architektura neuronowa wprowadzona przez Google'a w 2015 roku, stanowią fundament każdego nowoczesnego dużego modelu językowego. Jednak wraz ze wzrostem rozmiaru i możliwości LLM-ów, transformery zaczęły być ich ograniczeniem - ich gęsty mechanizm atencji wymaga coraz więcej mocy obliczeniowej w miarę przetwarzania większych ilości tekstu, a jednocześnie nie radzą sobie dobrze z jednoczesnym śledzeniem dużej liczby informacji.
Startupy badawcze pracują nad czterema nowymi podejściami do przezwyciężenia tego problemu. Innowacje te mogą fundamentalnie zmienić sposób, w jaki działają modele językowe, czyniąc je nie tylko szybszymi i bardziej energooszczędnymi, ale potencjalnie też bardziej inteligentnymi. Zmiana ta byłaby kluczowa, bo transformery są już naturalne wąskim gardłem dla dalszego postępu w field LLM-ów.
Jednocześnie świat badań akademickich nad AI przechodzi głębokie przemiany. Naukowcy pracujący w uczelniach muszą renegocjować warunki swojej pracy wobec nowych rzeczywistości branżowych - zarówno konkurencji ze strony korporacyjnych laboratoriów, jak i nowych możliwości finansowania. Program AI2050 wspierany przez Erica i Wendy Schmidtów ilustruje ten trend, starając się utrzymać najlepsze talenty w środowisku akademickim poprzez wsparcie badaczy pracujących nad sztuczną inteligencją.