Zespół naukowców zbadał jak modele GPT-2-small uczą się gramatycznych struktur wyrażających zdarzenia w formie nominalnej, zwłaszcza w kontekście różnorodnych systemów gramatycznych. Przy użyciu syntetycznych korpusów opartych na naturalnych danych i formalizowanych gramatykach, naukowcy stworzyli 96 wersji testowych języków różniących się kolejnością wyrazów w zdaniach, strukturą grup nominalnych, systemami uzupełnień i strategiami tworzenia nominalnych konstrukcji zdarzeń. Dla każdej wersji wytrenowali modele od zera i ocenili je przy użyciu 34 zjawisk gramatycznych.
Wyniki pokazały ciekawą asymetrię: modele rzeczywiście uczyły się naturalnych wzorców typologicznych jeśli chodzi o podstawowe struktury zdań, co sugeruje uniwersalne tendencje w uczeniu się języka. Jednak w bardziej zaawansowanych aspektach - szczególnie w systemach uzupełnień i strategiach nominalnych - pojawiały się znaczące różnice między tym co modele preferują a tym co obserwuje się w naturalnych językach.
Najnowsze odkrycie: modele uczyły się czasem kombinacji gramatycznych rzadkich lub zupełnie nieznanych w naturalnych językach ludzkości. To sugeruje że rzeczywiste języki mogą odzwierciedlać nie tylko uniwersalne presje w procesie uczenia się, ale również praktyczne i funkcjonalne wymagania które nie w pełni uchwycić można w eksperymentach ze sztucznymi modelami. Badanie rzuca światło na fundamentalne różnice między tym jak uczą się sztuczne sieci neuronowe a tym jak ewoluowały ludzkie systemy komunikacyjne.