Międzynarodowy zespół badaczy z wykorzystaniem reinforcement learning'u z walidowalnymi nagrodami (RLVR) rozwiązał istotny problem w rozpoznawaniu mowy wielojęzycznej - modele audio-language mogą być proszane o transkrypcję mowy code-switched, ale ich dekodowanie nie jest do tego zoptymalizowane i često zawodzi na granicach między językami. Badacze zastosowali group relative policy optimization połączoną z dwupassowym procesem draft-and-refinement, czyli najpierw przygotowaniem szkicu, a następnie jego poprawą.
Technikę testowano na modelu Qwen2-Audio, trenując go na sintetycznie generowanej mowie wielojęzycznej z 10 parami języków. Wyniki pokazały, że RLVR trenowany na zaledwie 10 procentach danych osiąga wydajność porównywalną do pełnego supervised fine-tuningu z LoRA na całym zbiorze danych - największe zyski zaobserwowano dla par języków typologicznie odległych, na przykład pomiędzy językami z różnymi systemami pisma. System wykorzystuje dwie rodzaje nagród: nagrodę za współczynnik błędów, która eliminuje błędy tłumaczenia, i nagrodę za wierność skryptu, która zmniejsza zabrudzenie alfabetu bez degradacji ogólnej wydajności.
Osób godnym znaczenia jest fakt, że osiągnięte wyniki transferują się zero-shot na rzeczywisty, nagrywany człowiekiem korpus mowy wielojęzycznej. To oznacza, że model trenowany na danych syntetycznych działa dobrze z rzeczywistymi wypowiedziami, co otwiera drogę do praktycznego wdrożenia tego podejścia w systemach rozpoznawania mowy dla wielojęzycznych wspólnot.