Zespół badawczy opracował AQL-Lite, efektywny framework do kontinualnego pretreningu arabskich modeli językowych, który rozwiązuje problem drażliwych danych internetowych i wysokich kosztów obliczeniowych. Metoda łączy dwie kluczowe strategie: najpierw starannie kuruje dane arabskie poprzez czyszczenie strukturalne, heurystyczne i modelowe filtrowanie, selekcję MSA oraz deduplicację; następnie stosuje częściowe dostrojenie parametrów za pomocą RS-LoRA adapterów trenowanych razem z ostatnimi ośmioma blokami transformera i macierzą osadzania przy zróżnicowanych szybkościach nauki dla poszczególnych warstw.
Wyniki empiryczne pokazują znaczący wpływ kuracji danych na efektywność treningu. Przy identycznym budżecie 1B tokenów trening na danych AQL-curated podniósł średnią wyniku na czterech benchmarkach o 3.51 punktu, podczas gdy trening na surowych danych internetowych w ogóle nie przyniósł poprawy w stosunku do modelu bazowego. W rozszerzonej ocenie na 5B tokenach AQL-Lite odzyskało 94% zysku pełnego dostrojenia wszystkich parametrów, ale zrobiło to w zaledwie 52% czasu wykonania i przewyższyło wszystkie adaptery zawierające tylko baseline. Komponenty ablacyjne wykazały, że adaptery, odblokowane bloki transformera i trening osadzania każdy z osobna wnoszą istotny wkład.
Finalna wersja modelu, wytrenowana na 40B tokenów arabskiego tekstu i dostrojona instrukcyjnie na milion przykładów, osiągnęła wynik 75.3 na siedmioelementowym zestawie benchmarków Open Arabic LLM Leaderboard v2. Badania sugerują, że częściowe dostrojenie parametrów na starannie wybranym korpusie jest praktycznym i efektywnym podejściem do adaptacji modeli do nowoczesnego arabskiego, otwierając drogę do rozwoju wysokiej jakości arabskich modeli LLM z ograniczonymi zasobami.