Modele transformerów pokazują preferencję dla naturalnych języków ludzi zamiast sztucznych wariantów uważanych za niemożliwe do nabycia dla człowieka, ale dotychczasowe badania opierały się głównie na mierzeniu efektywności nauki i perpleksji, a nie na bezpośrednich testach umiejętności lingwistycznych. Nowe badanie z arXiv bierze się do sedna problemu: czy transformery rzeczywiście rozumieją te niemożliwe języki, czy tylko uczą się ich powierzchownie?
Rzecze badacze wytrenowali modele w stylu GPT-2 na zmienionej wersji angielskiego z cechami uznawanymi za niemożliwe. Testy czułości na błędy gramatyczne za pomocą zestawu BLiMP pokazały stopniową degradację wydajności, zależną od lokalności informacji w języku. To oznacza, że modele częściowo zachowują zdolność do oceny, czy coś brzmi gramatycznie poprawnie - nawet w tych dziwnych wariantach.
Natomiast generowanie tekstu - rzeczywiste tworzenie zdań - okazało się być dużo bardziej problematyczne. Modele produkowały znacznie mniej wysokiej jakości tekstów, szczególnie przy dłuższych sekwencjach. Te wyniki wskazują, że niemożliwość tych języków nie leży w deficycie wrażliwości gramatycznej, lecz w niedостатecze zdolności do praktycznego generowania poprawnego tekstu. To może wyjaśniać, dlaczego takie języki nigdy nie wyewoluowały naturalnie - nie dlatego że ludzie ich nie potrafią rozpoznać, ale dlatego że trudno byłoby je konsekwentnie wytwarzać i przekazywać poprzez pokolenia.