Zespół naukowców zaprezentował pierwszy znaczący model pretrainingu dla języków indyjskich wytrenowany na 2,8 tryliona tokenów z dedykowanym, otwartym pipeline'em do generacji danych. Projekt stanowi odpowiedź na dramatyczny brak reprezentacji języków indyjskich - takich jak hindi, bengalski, tamilski czy telugu - w światowych modelach AI, gdzie przecażnie angielszczyznę stanowiła dominującą część treningowych zbiorów danych.
Otwarty pipeline to kluczowy element inżynierii tego podejścia. Zamiast utrzymywać dane w zamkniętej kolekcji, zespół opracował automatyczne procesy do identyfikacji, czyszczenia i strukturyzowania tekstu w językach indyjskich ze źródeł takich jak Common Crawl. To oznacza, że inne zespoły mogą replikować, rozbudowywać i ulepszać proces, zamiast czekać na jedną organizację.
Ważność tej pracy leży w skali. Językami indyjskimi mówi około 1,1 miliarda ludzi, ale AI modele dla tych języków znacznie bardziej zagrażają halowinacjom i obniżonej wydajności niż ich anglojęzyczne odpowiedniki. Udostępnienie takiego pretrainingu i pipeline'u może przyspieszyć tworzenie lepszych chatbotów, systemów tłumaczenia i narzędzi dostępności dla całego regionu Azji Południowej.