OpenLanguageModel to nowa biblioteka open-source PyTorch zaprojektowana tak, aby kod modelu był czytany jak jego architektura - komponenty to zwykłe moduły, a specjalne bloki (Block, Residual, Repeat, Parallel) opisują sposób ich połączenia. Deweloperowie mogą pracować z tym samym modelem zarówno w notebooku edukacyjnym, jak i w pełnoprawnym pipelinelu trenowania, bez konieczności zmiany kodu.
Biblioteka integruje cały stos potrzebny do trenowania: tokenizatory, lokalne i streamingowe datasety, optymizację, mixed precision, callbacki, checkpointy oraz obsługę sprzętu od CPU, przez pojedyncze GPU, aż do wielogpuowego trenowania na jednym węźle. Autorzy zademonstrze to na praktycznym przykładzie - pokazali ścieżkę od diagramu GPT-2 do kodu, uruchomili skrypt trenowania na FineWeb-Edu, zastąpili jeden komponent attention i pozwolili AutoTrainerowi automatycznie skonfigurować maszynę. Pakiet zawiera 27 presetów dla dziewięciu znanych rodzin modeli, od fundamentów modelowania języka po zaawansowane badania architektoniczne.
Testowanie wykazało dokładną zgodność z istniejącymi implementacjami referencyjnymi i efektywność skalowania 90,6% dla obciążenia 348M parametrów na czterech GPU. Biblioteka jest dostępna na licencji MIT przez PyPI i GitHub, co czyni ją dostępną dla naukowców i edukatorów interesowanych badaniem architektury sieci neuronowych bez skomplikowanego kodu.