Naukowcy zbadali, w jaki sposób struktura danych równoległych - czyli par dokumentów oryginalnych i ich tłumaczeń - może poprawić multilingual pretraining. W standardowym podejściu modele próbkują dokumenty źródłowe i ich tłumaczenia niezależnie od siebie, bez eksplicytnego wykorzystania ich powiązania. Zespół eksperymentował z metodą Parallel Pretraining, w której każdy dokument łączy się w jedną sekwencję treningową z jego tłumaczeniem.
Wyniki okazały się zaskakujące. Mimo że dane równoległe są znane z poprawy transferu między językami, użycie ich w formie PPT nie dało konsekwentnych korzyści w ogólnym rozumieniu języka w porównaniu ze standardowym pretrainingiem SPT. Analiza ujawniła problem - choć PPT buduje solidne fundamenty wielojęzyczne poprzez lepsze wykorzystanie wspólnych informacji między językami, niezgodność między kontekstami treningowymi a wejściami pojedynczych języków w rzeczywistych zadaniach limituje jego potencjał.
To odkrycie doprowadziło do opracowania strategii dwuetapowej: pierwszy etap wykorzystuje PPT do zbudowania mocnej podstawy wielojęzycznej, a następnie model przechodzi do standardowego pretrainingu SPT, aby dostosować się do konwencjonalnego modelowania języka. Badania wykazały, że takie kombinowane podejście przynosi polepszenia zarówno w ustawieniach wysokozmiennych, jak i niskozmiennych zasobów, co sugeruje, że struktura równoległa jest wartościowa, ale musi być zintegrowana z tradycyjnymi metodami pretrainingu.