Zespół Kyutai i Mirelo opublikował MuScriptor, model Transformera oparty na architekturze decoder-only do transkrypcji wieloinstrumentalnej muzyki. Automatyczna transkrypcja muzyki (AMT) convert nagrania audio na nuty symboliczne w formacie MIDI - dotychczas dobrze działała tylko dla pojedynczych instrumentów, a transkrypcja całych miksów instrumentalnych pozostawała poważnym wyzwaniem.
MuScriptor zmienia to podejście, traktując transkrypcję jak zadanie modelowania języka. Model najpierw odczytuje mel-spektrogram krótkich fragmentów audio, a następnie autoregressywnie predykuje tokeny MIDI odpowiadające wysokości dźwięku, czasowi i instrumentowi - wszystko według schematu tokenizacji MT3. Zespół udostępnił trzy warianty wag na platformie Hugging Face: mały (103M parametrów), średni domyślny (307M) i duży (1.4B). Kod wnioskowania działa na licencji MIT, choć wagi chronione są licencją CC BY-NC 4.0 ograniczającą użytek komercyjny.
Kluczową ideą MuScriptora jest podejście do danych zamiast architektury - model przechodzi przez trzy etapy treningu. Pretrenowanie wykorzystuje ponad 1.45 miliona plików MIDI, które są syntetyzowane w locie podczas treningu. Augmentacje obejmują przesunięcia wysokości, zmiany tempa, modyfikacje velocity oraz randomizację instrumentów, przy użyciu ponad 250 soundfontów i losowego rozstrojenia. To kompleksowe podejście pozwala modelowi generalnie się uczyć na niemal nieskończonej różnorodności danych syntetycznych, zanim przejdzie do fine-tuningu na rzeczywistych wieloinstrumentalnych nagraniach.