Naukowcy opublikowali LAMB, nowy encoder dla języka łaciny zbudowany na bazie architektury ModernBERT i wytrenowany na ponad 74 miliardach łacińskich tokenów. Model wykorzystuje nowatorskie podejście do maskowania oparte na strukturze morfologicznej słów, co pozwala mu lepiej zrozumieć specyfikę języka starożytnego. Towarzyszą mu dwa nowe zbiory danych: Acervus z 24 miliardami tokenów, w tym ponad 760 tysiącami próbek z uszkodzonych transkrypcji OCR naprawionych za pomocą modelu ByT5, oraz Corpus Trinum - pierwszy zbiór semantycznych trójek dla łaciny zawierający ponad 100 milionów par słów o podobnym lub różnym znaczeniu.
W obszernym benchmarku porównującym 15 gotowych encoderów i 6 checkpoint'ów LAMB-a na pięciu zadaniach i siedemnastu podzadaniach, nowy model wykazał zdecydowaną przewagę. LAMB pokonał konkurencję w 16 z 17 podzadań, a na ostatnim zadaniu osiągnął wynik zaledwie 0,8 punktu procentowego poniżej stanu wiedzy. Badacze analizowali wpływ różnych aspektów: zachowania tokenizera, struktury składniowej, konfiguracji fine-tuningu, stanu pretrainingu i agregacji podslów.
Ten projekt ma istotne znaczenie dla humanistyki cyfrowej i archiwizacji. Łacina, choć już martwy język, pozostaje kluczowa dla dostępu do historycznych dokumentów. Dotychczasowe modele NLP były głównie trenowane na współczesnych językach, więc LAMB wypełnia ważną lukę, umożliwiając automatyczną analizę i tłumaczenie starożytnych tekstów. Corpus Trinum otwiera drogę do adaptacji modeli łacińskich dla zadań semantycznych, co może revolutionizować badania historyczne i filologiczne.