Together AI wprowadził Together Compiler, system optymalizacyjny oparty na agentach kodujących, które automatycznie przepisują forward pass modeli w celu uzyskania lepszej wydajności. System bierze polecenie uruchamiające serwer, profil ruchu i konfigurację sprzętu, a następnie agenci proponują szybsze implementacje forward passa, które są testowane w ciągłej pętli. Zwycięskie rozwiązanie trafia do silnika obsługującego.
Rzeczywisty problem, który rozwiązuje Together Compiler, to fakt, że ruch produkcyjny nigdy nie stoi w miejscu. Together AI zaobserwował, że długości promptów różnią się drastycznie między krajami - około 97 tys. tokenów w jednym kraju versus 70 tys. w innym. Jeden z klientów doświadczył wzrostu długości P90 wejścia z 18 tys. do 33 tys. tokenów w zaledwie 3 dni. Ta zmienność sprawia, że jednokrotnie dostrojony silnik inferencji szybko się dezaktualizuje.
Wyniki testów są imponujące: system osiągnął do 2,6x wyższą przepustowość niż najlepsze opublikowane konfiguracje InferenceX w czasie poniżej 24 godzin na ustawienie. Najlepszy rezultat to 1111 P90 TPS na MiniMax M3.1 Flash na GPU NVIDIA B200 z batch size 1, co stanowi 1,8x wzrost w porównaniu z baseline'em 633 TPS. Wyniki były nieco bardziej skromne dla GLM 5.3 na AMD MI355X, gdzie przepustowość wzrosła z 463 do 480 TPS (około 4%). Together Compiler już działa na kilku serverless endpointach Together AI i wspiera sprzęt NVIDIA B200, B300, GB300, H100, procesory AMD MI355X oraz AWS Trainium2.