Transformery potrafią przeprowadzać selekcję modeli bayesowskich - czyli wybierać właściwą klasę hipotez na podstawie danych - osiągając niezwykła precyzję w kontrolowanych warunkach laboratoryjnych. Badacze stworzyli specjalne środowiska testowe zwane bayesowskimi tunelami aerodynamicznymi, gdzie poprawne posteriory są znane analitycznie, i testowali na nich transformer o rozmiarze 2,8 miliona parametrów. Model uzyskał zaledwie 0,01-bitową entropię odchylenia od optimum bayesowskiego, działając zarówno z tradycyjnymi tokenami liczbowymi jak i z nieprzezroczystymi symbolami, których znaczenie zmieniało się w każdym epizodzie.
Kluczowym odkryciem jest ostry warunek dostępu percepcyjnego: gdy do rozróżnienia modeli wymagane są operacje arytmetyczne - takie jak dodawanie modularne czy mnożenie modulo liczba pierwsza - model rzeczywiście wykonuje selekcję tokenami liczbowymi, ale całkowicie zawodzi z symbolami niemającymi ustalonego znaczenia. Ta granica trwa nawet przy 112-krotnym skalowaniu modelu, od 2,8 do 316 milionów parametrów. Kontrola stacjonarności wyjaśnia mechanizm: symbole z ustalonym mapowaniem relabeling powracają do wydajności na poziomie 0,009-bitowego błędu średniokwadratowego, co sugeruje, że stała semantyka - nie sama tożsamość liczb - umożliwia kompilację obwodu neuronowego.