Naukowcy z arXiv ponownie przeanalizowali kluczową założenie w rozpoznawaniu mowy: czy perplexity modelu języka rzeczywiście przewiduje błąd słowny w nowoczesnych systemach ASR. Historycznie istniała przybliżenie liniowa relacja między tymi dwiema miarami na skali log-log, ale współczesne systemy end-to-end zmienili grę - zawierają własną zdolność modelowania języka, są oceniane bez zewnętrznych modeli i mogą być połączone z neuronowymi modelami języka czy LLM-ami na różne sposoby.
Badacze sprawdzili cztery kluczowe pytania: czy zewnętrzne modele języka wciąż polepszają wyniki, czy relacja PPL-WER pozostaje liniowa w przestrzeni log-log, jak długość kontekstu enkodera wpływa na tę zależność i gdzie LLM-y się w tym wszystkim mieszczą. Kluczowe odkrycie dotyczy tzw. wewnętrznego modelowania języka (ILM) w systemach encoder-decoder - odjęcie ILM zmienia obserwowaną relację PPL-WER, co oznacza że wewnętrzny model języka dekodera musi być brany pod uwagę przy ocenie wpływu jakości zewnętrznych modeli.
To badanie ma praktyczne znaczenie dla inżynierów pracujących nad systemami rozpoznawania mowy, pokazując że tradycyjne wskaźniki mogą być mylące w nowoczesnymi architekturach. Wyniki sugerują że prosty transfer wiedzy z tradycyjnych systemów ASR do nowoczesnych może nie działać tak efektywnie, a projektowanie lepszych systemów wymaga głębszego zrozumienia interakcji między zewnętrznymi i wewnętrznymi modelami języka.