Naukowcy stworzyli nową rodzinę modeli kodujących dla języka islandzkiego w architekturze ModernBERT, obejmującą rozmiary od 12 milionów do 1 miliarda parametrów trenowanych na 9 miliardach tokenów otwartych danych. Największy model, pierwszy monollingualny islandzki encoder tego rzędu wielkości, wykazuje znaczną przewagę nad dotychczasowym referencyjnym IceBERT-em na wszystkich jedenastu testowanych zadaniach oraz wersji warm-startu z angielskiego encodera Ettin.
Badanie skupiło się na dwóch kluczowych pytaniach z pracy IceBERT: czy wyczyszczony web crawl wystarczy do trenowania silnego modelu oraz czy start z modelu wielojęzycznego pomaga. Zespół przetestował te założenia w kontrolowanych warunkach na sześciu rozmiarach modeli i czterech budżetach tokenów. Okazało się, że transfer learning z angielskiego źródła nigdy nie był significantnie gorszy niż trenowanie od zera, a przy rozmiarach od base w górę osiągał wydajność porównywalną z treningiem od zera na czterokrotnie większej ilości islandzkiego tekstu.
Kluczowe znalezisko dotyczy architektury transformera - wraz ze wzrostem modelu, większość transferu pochodzi z warstw transformera modelu źródłowego, co oznacza że nawet angielskie źródło może się sprawdzić. Jednak utrzymanie słownika źródłowego stanowiło koszt, zmniejszając wynik F1 na zadaniach question answering o 5 punktów i wymagając prawie trzykrotnie większych zasobów obliczeniowych.