Zespół badaczy opracował metodę efektywnego dostosowania modeli mowy dla wrażliwych dziedzin, gdzie dane treningowe są niedostępne, a system musi obsługiwać wielojęzyczne zapytania głosowe. Problem ten dotyczył singapurskiego Home Team - instytucji bezpieczeństwa - gdzie potrzeba było wsparcia czterech oficjalnych języków kraju w pięciu różnych zadaniach dotyczących mowy.
Do pracy wykorzystali kombinację zaawansowanych technik: fine-tuning LoRA zmniejszający liczbę parametrów do uczenia, sztuczny dataset tekstowo-głosowych pytań i odpowiedzi do ochrony przed katastroficznym zapomnianiem modelu, oraz wielozadaniowy schemat reweightingu CoBa dostosowany do przetwarzania mowy. Dodatkowo stworzyli HTD-multilingual-QA - zbiór ponad pół miliona próbek QA w tekstowej i głosowej formie. Rezultat, model HT-Moonstone z 5 miliardami parametrów, dorównuje lub pokonuje modele mowy siedmiokrotnie większe na większości zadań, uzyskuje najlepsze wyniki w rozpoznawaniu akcentu i płci wśród wszystkich testowanych modeli, tracąc zaledwie poniżej 2 procent oryginalnych zdolności w zadaniach dotyczących mowy QA.
To badanie ma znaczenie dla adaptacji dużych modeli AI do konkretnych kontekstów regionalnych i języków mniejszościowych, pokazując że można osiągnąć wysoką wydajność nawet z ograniczonymi zasobami obliczeniowymi. Metodologia może być przydatna dla innych instytucji rządowych lub komercyjnych pracujących z wrażliwymi danymi, gdzie niedostęp do oryginalnych zbiorów treningowych stanowi główne ograniczenie.