Naukowcy opracowali nową strategię do efektywniejszego dostrajania modelu Whisper poprzez inteligentny wybór podzbiorów treningowych. Zamiast pracować z ogromną ilością transkrybowanego audio, ich metoda wykorzystuje embedding'i z preuczonego enkodera Whispera, aby zmapować każdą próbkę audio w wielowymiarową przestrzeń, a następnie zastosować algorytm greedy k-center do wyboru najbardziej reprezentatywnych i zróżnicowanych próbek.
Stanowi to znaczące praktyczne rozwiązanie dla badaczy i praktyków pracujących z modelami ASR, którzy potrzebują dostroić Whispera dla nowych języków czy dziedzin bez ponoszenia ogromnych kosztów obliczeniowych. Dostrajanie tych modeli tradycyjnie wymaga znacznych zasobów, co stanowi barierę dla wielu zespołów. Proponowana metoda selection'u danych pozwala osiągnąć podobną lub lepszą jakość rozpoznawania przy użyciu znacznie mniejszych zbiorów treningowych.
Rezultaty testów na hebrajskim i duńskim wykazały, że podzbiory wybrane algorytmem k-center zawierają szerszą reprezentację treści lingwistycznej niż losowo wybrane próbki tego samego rozmiaru. To wyjaśnia wyższą efektywność metody, szczególnie przy ograniczonych budżetach danych. Takie podejście może demokratyzować dostęp do zaawansowanych modeli mowy, umożliwiając mniejszym organizacjom i badaczom adaptację Whispera do swoich specyficznych potrzeb bez konieczności posiadania ogromnych zbiorów danych i mocy obliczeniowych.