NVIDIA udostępniła Audex - ujednolicony model obsługujący zarówno audio, jak i tekst, który rozwiązuje fundamentalny problem istniejących modeli multimodalnych. Naukowcy grupy Nemotron-Labs zauważyli, że kiedy tradycyjne modele dodają możliwości audio czy wizji, zwykle tracą wydajność w zadaniach tekstowych - efekt znany jako text tax. Audex został zaprojektowany aby tego uniknąć, utrzymując wyniki tekstowe na poziomie modelu bazowego (Nemotron-Cascade-2-30B-A3B) przy jednoczesnym wsparciu dla audio.
Architektura Audex to najprostsza możliwa konstrukcja dla modelowania audio-tekstu. Wejścia audio są kodowane i rzutowane bezpośrednio w przestrzeń osadzania tekstu, gdzie zarówno tokeny tekstowe jak i skwantyzowane tokeny audio są traktowane jednolicie podczas generacji. Nie ma rozdzielenia na osobne ścieżki dla myślenia i mówienia, a także brak kaskady ze stos modeli - wszystko działa jako jeden system Mixture-of-Experts z 30 miliardami parametrów i 3 miliardami aktywnych na token. Hybridowa architektura Mamba-Transformer z 52 warstwami, 128 routowalnymi ekspertami i 6 aktywowanymi ekspertami umożliwia efektywne przetwarzanie obu modalności.
Klucz do osiągnięcia braku degradacji tekstowej leżał w wieloetapowym procedurze fine-tuningu (SFT) plus text-only Cascade reinforcement learningiem, które zapobiegają typowemu problemowi regresu multimodalnego. Model nie tylko obsługuje mowę, ale generalnie generuje audio poza samą mową - cecha rzadka wśród otwartych modeli. Audex jest rozprowadzany bezpłatnie na licencji niekomercyjnej wraz z mniejszą wersją Audex-2B, stanowiąc znaczący postęp w modelach audio-tekstowych bez konieczności kompromisu na wydajności tekstowej.