Badacze z MarkTechPost przeprowadzili kompleksowy test Whistle - nowego modelu zamiany mowy na tekst o rozmiarze zaledwie 16.9 MB, który działa na CPU i może być uruchamiany nawet na urządzeniach mobilnych. Model obsługuje siedem języków i dostarcza znaczniki czasu słów oraz prawdopodobieństwa, co czyni go alternatywą dla znacznie większych rozwiązań.
W stosunku bezpośrednim z Whisper base i Whisper tiny na testowych próbkach LibriSpeech wykazano, że Whistle bije greedy Whisper base na zbiorze test-other, podczas gdy w stosunku do beam search różnica nie jest znacząca. Ważnym atutem jest znaczna przewaga prędkości - model transkrybuje szybciej, szczególnie na krótszych klipach audio. Wszystkie testy przeprowadzono na Applu M4, a uzyskane wyniki stanowią próbki z jednego uruchomienia.
Poza czystą dokładnością zespół zbadał również praktyczne aspekty takie jak latencja streamingu, precyzja znaczników czasu, możliwość kierowania transkrypcji poprzez bias słów kluczowych, obsługę wielu języków i szum w tle. Odkryto jednak znaczącą wadę - w oknie 30 sekund model milcząco pomija środkową część dłuższych fragmentów audio, co może być problematyczne dla pełnych transkrypcji. Badacze przetestowali również konwersję mowy na wywołania narzędzi, pokazując potencjał modelu do integracji z systemami командного sterowania.