IBM wydał Granite Speech 5.0 2B, nowy otwarty model do zamiany mowy na tekst w 6 językach, który trafia do wszystkich dewelopera jako otwartoźródłowy projekt. Model zawiera 2 miliardy parametrów i uzyskuje drugie miejsce wśród otwartych modeli na leaderboardzie Open ASR z średnim błędem słowa wynoszącym 5,68 procent dla angielskiego - na testach Clean LibriSpeech osiąga imponujące 0,99 procent WER, choć na prywatnych zbiorach konwersacyjnych wynosi 13,79 procent.
Architektura modelu składa się z trzech komponentów: enkodera mowy zbudowanego z 16 bloków Conformer trenowanych metodą CTC z blokowaniem uwagi na 4-sekundowych fragmentach audio, dwuwarstwowego q-formera do projekcji i downsamplingu embedingów akustycznych (10x zmniejszenie), oraz LLM-a rozszerzonego do 16 tysięcy pozycji za pomocą YaRN i dostrojnego LoRA. Training przeprowadzono na 390 tysiącach godzin publicznych nagrań plus danych syntetycznych. Model jest w stanie obsługiwać segmenty audio do około 2 minut i może pracować na GPU poprzez Transformers lub vLLM, na Apple Silicon przez mlx-audio oraz lokalnie na CPU lub Macu za pomocą llama.cpp w formacie GGUF.
Wydanie stanowi ważny krok w demokratyzacji technologii mowy dla deweloperów, którzy szukają dokładnego i wydajnego rozwiązania do transkrypcji mogącego pracować offline. Razem z aktualizacjami istniejących modeli Turbo CTC i 4.1 2B Plus - skupiających się odpowiednio na transkrypcji na urządzeniach brzegowych i identyfikacji mówców - IBM oferuje kompleksowy ekosystem narzędzi dla różnych zastosowań związanych z przetwarzaniem mowy.