Badanie porównało pięć modeli opartych na architekturze GPT-2 trenowanych od zera - cztery monojęzyczne dedykowane dla tamilskiego, telugu, kannady i malajalam oraz jeden wielojęzyczny wspólny dla wszystkich czterech języków. Każdy model monojęzyczny używał własnego słownika subword o rozmiarze 32 tys. tokenów, podczas gdy model wielojęzyczny dysponował wspólnym słownikiem 64 tys. tokenów.
Języki drawidyjskie stanowią zaledwie mały fragment danych используemych do trenowania współczesnych wielojęzycznych modeli AI, co zwykle skutkuje słabszą wydajnością na tych konkretnych językach. Forscht oparł swoją pracę na czyszczonych danych z Common Crawl 100, Wikipedii i zbioru Samanantar, co zapewniło reprezentatywne dane treningowe. Testy obejmowały pomiary perplexity, bitów na bajt, efektywności tokenizera oraz wyniki fine-tuningu w porównaniu z modelem mGPT.
Wyniki wyraźnie pokazały przewagę podejścia monojęzycznego - dedykowane modele uzyskały lepsze rezultaty od mGPT szczególnie w zadaniach praktycznych jak klasyfikacja sentymentu i rozpoznawanie nazwanych encji. Co więcej, tokenizery monojęzyczne okazały się bardziej efektywne niż wspólny wielojęzyczny tokenizer dla wszystkich testowanych języków. To sugeruje, że dla języków niedoreprezentowanych w ogólnych zbiorach treningowych oddzielne modele mogą być strategicznie lepszym wyborem niż универсальные rozwiązania wielojęzyczne.