Zespół badaczy zaprezentował GRAFT, mechanizm warunkowania wymowy dla neural codec language modeling w syntezie mowy. System pozwala kontrolować wymowę wybranego słowa na podstawie krótkiej próbki audio tego słowa, zakodowanej przy użyciu własnego tokenizera mowy modelu i powiązanej z pozycją słowa w tekście.
Istniejące systemy text-to-speech osiągają wysoką zrozumiałość i naturalność, ale dziedziczą niejasności tekstu i błędnie wymawiają rzadkie nazwy własne, zapożyczenia i terminy techniczne. Nawet modele warunkowane fonemami nie oferują bezpośredniej kontroli akustycznej nad wymową poszczególnych słów. GRAFT rozwiązuje ten problem dzięki konwersji głosu podczas konstruowania danych treningowych, która rozdziela głos wskazówki od głosu docelowego. Dzięki temu wskazówka może pochodzić z dowolnego głosu, a wynik pozostaje w docelowym głosie.
W ślepych testach słuchowych przeprowadzonych w języku angielskim użytkownicy jednoznacznie przedkładali GRAFT nad konkurencję, oceniając jego wymowę trudnych słów jako najbliższą nagraniu referencyjnemu. Na pięciojęzycznym benchmarku obiektywnym GRAFT zredukował błędy fonetyczne wyrazu docelowego o 22-39% w porównaniu z identycznym modelem opartym wyłącznie na tekście i przewyższył konkurencyjne otwarte systemy zarówno warunkowane fonemami, jak i tekstem, jednocześnie zachowując podobieństwo głosu i naturalność.