Wspólna poprawa identyfikacji dialektów i ASR w indyjskich językach z fuzją multimodalnych cech

Zespół badaczy zaproponował nowatorskie podejście do jednoczesnego ulepszania rozpoznawania mowy i identyfikacji dialektów w indyjskich językach przy użyciu multimodalnej fuzji cech. System wykorzystuje Bottleneck Encoder do wyodrębniania cech dialektalnych z reprezentacji mowy opartych na Conformerze, połączony z enkodem RoBERTa przetwarzającym osadzenia CTC generowane przez ASR. Mechanizm gating łączy te cechy, a następnie koder atencji dopracowuje reprezentacje przed ich konkatenacją z wyjściami Conformera w celu wzmocnienia cech ASR.

Istotnością tej pracy jest rozwiązanie realnego problemu: tradycyjne podejścia optymalizują ASR i DID osobno, co prowadzi do kompromisów wydajności. Indyjskie języki stanowią szczególnie wyzwanie jako słabo zasobowe systemy wykazujące znaczne różnice dialektalne. Przeprowadzenie badań na ośmiu indyjskich językach obejmujących 33 dialekty demonstruje skalę eksperymentu.

Uzyskane wyniki - 81,63% dokładności dla identyfikacji dialektów oraz średni Character Error Rate (CER) 4,65% i Word Error Rate (WER) 17,73% - pokazują skuteczność wspólnego modelowania ASR-DID. Takie podejście ma potencjał znacząco poprawić dostępność technologii mowy dla społeczności mówiących językami indyjskimi, szczególnie dla użytkowników o niestandarowych dialektach.