Badacze zaprezentowali Pearl-Chat, autoregresyjny model transformera o 8,5 miliona parametrów specjalizujący się w języku Luganda, języku bantu używanym przez ponad 10 milionów osób w Afryce Wschodniej. Model został całkowicie zbudowany od podstaw w JAX i Flax NNX, wykorzystując nowoczesne techniki takie jak dekompozycja stanu funkcjonalnego oraz tensor parallelism.
Głównym wyzwaniem, które Pearl-Chat rozwiązuje, jest nieefektywność generycznych wielojęzycznych tokenizatorów w pracy z aglutynatywnym językiem Luganda. Standardowe tokenizery osiągają współczynnik 3,2 tokena na słowo, znacznie obniżając efektywność kontekstu i zwiększając opóźnienia. Naukowcy wytrenowali dedykowany tokenizer BPE na poziomie bajtów na kurowanych korpusach Luganda, osiągając dwukrotnie lepszą kompresję niż popularne modele LLaMA-3 i Gemma. Nowy tokenizer uzyskuje zaledwie 1,60 tokena na słowo, co drastycznie poprawia efektywność.
Model przeszedł dwustopniowy trening: pierwszy etap to pre-training na 59,501 sekwencjach z różnorodnych źródeł (teksty biblijne, encyklopedyczne, dziennikarskie), a drugi etap to instruction fine-tuning na 510 dialogach. Pearl-Chat demonstruje, że możliwe jest budowanie wysokiej jakości modeli dla niedoreprezentowanych języków afrykańskich, redukując zarówno obliczeniowy koszt, jak i morfologiczne wyzwania typowe dla tradycyjnych podejść wielojęzycznych.