Naukowcy z arXiv opublikowali badanie pokazujące, że agenty LLM komunikujące się poprzez tekst tracą znaczną część informacji, którą mogłyby wyrazić w przestrzeni latentnej. Zespół stworzył trzy kanały komunikacji i mierzył, ile informacji dotyczących pojęć zostaje zachowanych w każdym z nich. Kanał SAE-sparse okazał się niezwykle efektywny, utrzymując 99,4% dokładności sond przy 28-krotnej kompresji danych w porównaniu z kanałem tekstowym, który osiągnął jedynie 80,4%.
Badacze zbadali także komunikację między różnymi architekturami modeli, używając wyrównania przestrzeni latentnej (alignment). Przy wyrównaniu Procrustes osiągnęli 92% dokładności w retrieval topowym między modelami Llama i Mistral. Jednak tradycyjna komunikacja tekstowa okazała się destrukcyjna dla reprezentacji - serializacja tekstu zniszczyła aż 88% cech SAE, zastępując je całkowicie innymi cechami. Strata wynikała z zastąpienia tożsamości cech, a nie ich słabienia (attenuation).
Wyniki sugerują, że modele języków mogą posiadać wewnętrzne modele świata o większej ekspresywności niż to, co jest możliwe do wyrażenia w naturalnym języku. Różnica w wydajności między metodami wyrównania (linear Procrustes vs nonlinear) wyniosła 3-10 punktów procentowych. Ta praca otwiera pytania o fundamentalne ograniczenia komunikacji tekstowej w systemach multi-agentowych oraz potencjał bezpośredniej wymiany reprezentacji latentnych.