Zespół badawczy opracował SpeakPay - cyfrowy portfel kontrolowany głosem, który umożliwia niewidomym użytkownikom dostęp do mobilnych płatności w Nepalu. Centralnym wkładem technicznym pracy jest kontrolowane badanie adaptacji domeny dla rozpoznawania mowy w kontekście finansowym przy ograniczonych zasobach danych. Autorzy stworzyli NepFinSpeech-403, dataset zawierający 403 wypowiedzi w języku nepalskim z poleceniami finansowymi (operacje wysyłania, ładowania i sprawdzania salda obejmujące 237 unikalnych liczb), a następnie dokonali fine-tuningu modelu Whisper large-v2 przy użyciu LoRA.
Wyniki są imponujące. Na testowym zbiorze model dostosowany do domeny zmniejszył wskaźnik błędów słowa (WER) z 129,95% w konfiguracji zero-shot do zaledwie 42,58% procent - to zmniejszenie względne o 67,2%. Jeszcze ważniejsze jest, że dokładność rozpoznawania liczb w piśmie dewanagari poprawiła się z 0% do 73,9 procent. Jednak najkluczowsze dla praktycznego zastosowania jest skok wskaźnika sukcesu transakcji z 1,67% do 33,33 procent - prawie 20-krotna poprawa. Analiza efektywności danych ujawniła, że już 100 wypowiedzi specjalistycznych wystarczy do zmniejszenia WER o połowę, przy czym wydajność stabilizuje się wokół 300 przykładów.
Badanie statystyczne potwierdza konsystencję wyników na poziomie poszczególnych wypowiedzi i dla wszystkich typów poleceń. Analiza błędów wskazuje na systematyczne wzorce pomyłek w liczbach, takie jak wstawianie lub usuwanie zer oraz halucynacje prefixów, które stanowią większość pozostałych niepowodzeń transakcji. System został wdrożony jako publicznie dostępna internetowa aplikacja sterowana głosem.