Badacze przeanalizowali, gdzie w procesie tworzenia modeli języka pojawiają się uprzedzenia względem dialektów angielskiego. Korzystając z równoległych korpusów tekstów w różnych dialektach o tym samym znaczeniu, odkryli, że modele rozpoznają teksty w Standard American English i dialektach jako semantycznie równoważne, ale nadal kodują je nierówno podczas tokenizacji, pre-trainingu, post-trainingu i wnioskowania.
Według badań problem nie znika nawet wtedy, gdy zastosuje się tokenizację na poziomie znaków zamiast tradycyjnego podsegmentowania słów subword. Podczas treningu gradienty dla par tekstów w różnych dialektach różnią się bardziej niż gradienty dla całkowicie niezwiązanych dokumentów w SAE, co sugeruje, że modele uważają semantycznie równoważne treści w dialektach za trudniejsze do nauczenia się niż całkowicie niezwiązane dokumenty w angielszczyźnie standardowej.
Dodatkowo modele nagradzające podczas post-trainingu wykazują niestabilne preferencje dialektalne - przydzielają wyższe wartości izolowanym tokenom charakterystycznym dla AAVE niż dla SAE, podczas gdy pełne konteksty zawierają kary za dialekt zależne od zadania i modelu. Odkrycia sugerują, że uprzedzenia dialektalne są głębokie i zakorzenione na wielu poziomach potoku modelowania.