Latent Space dedykuje odcinek pracy Alex Zhang z MIT, który stał się jednym z wyróżniających się badaczy pracujących nad architekturami modelów językowych. Zhang eksploruje, jak wiele możliwości tracimy, zawijając coraz bardziej zaawansowane modele w prymitywne systemy - od GPU kernels i benchmarku KernelBench po Recursive Language Models i systemy multi-agent swarms.
Głównym osiągnięciem Zhang jest praca nad Recursive Language Models, które stały się ośrodkiem zainteresowania w branży na początku 2025 roku. Szczególnie znaczące jest, że wariant RLM oparty na harnesie jako pierwszy rozwiązał benchmark ARC-AGI-3, wyprzedzając system Astra od OpenAI. To pokazuje, że inne podejścia do architektur modelowych mogą osiągać wyniki konkurencyjne lub lepsze niż flagowe produkty największych laboratorów.
Podcast zagłębia się w kluczowe koncepcje takie jak context offloading, programmatic subagent calling, Prime Agent oraz persistent subagents. Dyskusja dotyczy również alternatyw dla standardowych modeli autoregresywnych i idei hainesów jako compositional generalizers. Zhang reprezentuje typ badacza, którego MIT promuje - kogoś, kto podejmuje ryzykowne badania, którymi duże laboratorium AI nie ryczałtowalby się zainteresować, ale które mogą mieć transformacyjny wpływ na przyszłość architektur modelów.