Badacze z Bilibili opublikowali raport techniczny na temat Index-1.9B, serii czterech kompaktowych modeli językowych, które stanowią interesującą propozycję dla praktycznego zastosowania przy ograniczonych zasobach. Każdy wariant pełni inną funkcję: Index-1.9B-Base to fundament pre-trenowany, Index-1.9B-Pure to kontrolna wersja bez danych instrukcyjnych, Index-1.9B-Chat to wersja dostrojona poprzez supervised fine-tuning i direct preference optimization, a Index-1.9B-Character dodaje możliwość few-shot role-playingu z retrieval-augmented generation.
Kluczowe innowacje w treningu to Warmup-Stable-Decay schedule szybkości uczenia się, gdzie w fazie decay zwiększa się koncentracja wyselekcjonowanych danych, oraz warstwa Norm-Head na wyjściu, która stabilizuje trening przy dużych wartościach learning rate. Na standardowych benchmarkach obejmujących egzaminy, rozumowanie, matematykę i kod, model bazowy uzyskuje średni wynik 64.92, konkurując z modelami kilkakrotnie większymi. Raport zawiera również kontrolowane eksperymenty dotyczące głębokości sieci, parametrów szybkości uczenia się oraz ich interakcji z jakością danych.
Signifikancja tej pracy leży w wykazaniu, że dobrze zaprojektowany mały model może osiągnąć wydajność porównywalną z dużo większymi konkurentami, co ma duże znaczenie dla wdrażania AI w środowiskach z ograniczonymi mocami obliczeniowymi. Publikacja wszystkich modeli jako open-source może przyczynić się do democratyzacji dostępu do zaawansowanych modeli językowych.