Fish Audio wydała nowy model Drama 3 - zaawansowany system text-to-speech bazujący na architekturze mixture-of-experts z 35 miliardami parametrów całkowitych i około 3 miliardami aktywnych parametrów na każdy token. Model jest dostępny z otwartymi wagami na Hugging Face oraz może być uruchamiany samodzielnie na sprzęcie developerów.
Drama 3 wyróżnia się możliwością dodawania szczegółowych instrukcji scenicznych bezpośrednio w tekście. Twórcy mogą umieszczać dyrektywy w nawiasach kwadratowych, na przykład [ledwo się trzymając], aby sterowaćtonem i emocją wypowiadanego tekstu. Model obsługuje tagi sparowane jak whisper, które wpływają tylko na wybrane słowa, oraz umożliwia pisanie instrukcji w dowolnym języku niezależnie od języka mowy. System wspiera 83 języki i pozwala na definiowanie do 16 różnych mówców przy użyciu tagów speaker.
Pod względem wydajności Drama 3 osiąga najlepsze rezultaty wśród otwartych modeli text-to-speech na platformie Artificial Analysis, szczególnie w kategorii wymowy nazw marek, miejsc i terminów technicznych, gdzie uzyskuje wynik 95,9 procent. Najsłabiej radzi sobie z dokładnym odtworzeniem sekwencji takich jak kody czy adresy e-mail. Uruchomienie modelu wymaga GPU NVIDIA z co najmniej 48 GB pamięci w trybie FP8, co stanowi istotny wymóg sprzętowy dla potencjalnych użytkowników.