Naukowcy z arXiv opracowali nową metodę gradientowego wyrównania mowy do tekstu, która działa uniwersalnie dla dowolnego różniczkowalnego modelu ASR. Problem wyrównania - znalezienia dokładnych granic czasowych dla każdego słowa w audio - był dotychczas rozwiązywany na wiele sposobów w zależności od architektury modelu. Modele CTC i transducerowe mają wyrównanie wbudowane z definicji, podczas gdy modele oparte na atencji i speech LLM-y zwykle czytają czasowania słów z macierzy wag atencji, co daje mniejszą precyzję.
Proponowana metoda opiera się na obliczeniu gradientu logarytmicznego prawdopodobieństwa każdego tokena względem wejścia, redukcji go do saliencji na poziomie ramki, a następnie dekodowaniu macierzy na granice słów za pomocą jednego przejścia programowania dynamicznego. Kluczową zaletą jest to, że nie wymaga treningu, żadnych modyfikacji modelu ani specjalnych głowic wyrównania. Pracuje na siatce wejściowej zamiast na siatce enkodera, co pozwala na wyższą precyzję temporalną niż tradycyjne podejścia oparte na wagach enkodera.
Badacze przetestowali metodę na szesnastu modelach reprezentujących cztery rodziny architektur, używając danych z czytanej mowy (TIMIT) i mowy spontanicznej (Buckeye). Wyniki pokazały, że gradient zapewnia użyteczne wyrównanie dla każdego modelu. Metoda jest zwykle nieco gorsza od natywnych wyrównań dla modeli, które je posiadają, ale znacznie lepsza w przypadkach, gdzie natywne wyrównanie jest słabe - na przykład dla modeli streamingowych. Główną wadą pozostaje koszt obliczeniowy związany z obliczaniem gradientów.