NAVER LABS zaadaptował swoją architekturę z konkursu IWSLT 2025 do wymagań edycji 2026, zachowując sprawdzony schemat trzystopniowy: wyrównanie projektora, pre-training LoRA na tekście oraz multimodalne łączenie modeli. Nowe wdrożenie zmusza do użycia konkretnych komponentów - encodera SeamlessM4T-v2-large do przetwarzania mowy oraz małego modelu językowego Qwen3-4B-Instruct jako centrum inteligencji.
Klucz do podejścia stanowi syntetyczne powiększenie danych. Zespół wygenerował 100 tysięcy przykładów instrukcji rozłożonych na dziesięć różnych scenariuszy zadań mówienia - 10 tysięcy dla każdego typu. Te dane pochodzą z udostępnionych przez organizatorów korpusów i służą do dalszego dostrajania na trzecim etapie. Takie podejście pozwala modelowi nauczyć się behawior instruction-following bez potrzeby ręcznej anotacji.
Wyniki na benchmarku MCIF pokazują, że system poradził sobie solidnie: osiągnął COMET 0.781 w zadaniu tłumaczenia mowy z angielskiego na chiński oraz BERTScore-F1 0.346 w pytań-odpowiedzi na angielskim. Te metryki sugerują zaawansowaną zdolność do zrozumienia instrukcji i precyzyjnego generowania odpowiedzi w kilku modalności - zarówno audio jak i tekst.