Together AI zaprezentowała Together Compiler, rozwiązanie do automatycznej optymalizacji otwartych modeli sztucznej inteligencji. Narzędzie wykorzystuje agenty i silniki o trwałej pamięci, aby dokonać adaptacji modelu w ciągu poniżej 24 godzin, uzyskując wzrost przepustowości do 3,7 razy w zależności od zmian natężenia ruchu.
Tradycyjnie optymalizacja modeli dla konkretnych scenariuszy inference wymagała żmudnego ręcznego dostrajania, kalibracji i testowania pod różnymi obciążeniami. Together Compiler automatyzuje cały ten proces, pozwalając systemom dostosowywać się dynamicznie do bieżących warunków eksploatacji. To szczególnie cenne dla deploymentów producyjnych, gdzie traffic zmienia się w ciągu dnia lub zależy od sezonowości.
Dlaczego to zmienia grę: startując z otwartymi modelami, operatorzy mogą teraz konkurować z zamkniętymi rozwiązaniami pod względem wydajności bez ponoszenia ogromnych kosztów infrastruktury. Compiler monitoruje rzeczywiste warunki pracy i automatycznie optymalizuje alokację zasobów. Dla graczy oferujących dostęp do modelami na zasadzie API, to oznacza potencjalnie lepsze doświadczenie użytkownika i niższe koszty operacyjne.