Together AI wdrożyło Polymorphic Inference - system inferencji zdolny do samooptymalizacji w odpowiedzi na zmieniające się warunki operacyjne. Zamiast tradycyjnego, statycznego podejścia do wdrażania modeli, rozwiązanie dynamicznie dostosowuje się do zmian w modelach, natężeniu ruchu i dostępnych chipach.
Sercem systemu jest Together Compiler wyposażony w agentów AI, którzy monitorują działanie produkcyjne i automatycznie tunują inferencję. To oznacza, że gdy wzrasta obciążenie, zmienia się model lub pojawia się nowy sprzęt, system adaptuje się w locie bez konieczności ręcznego przekonfigurowania. Dla zespołów wdrażających otwarte modele to oznacza znacznie mniejszy overhead operacyjny i lepsze wykorzystanie zasobów.
Rozwiązanie jest szczególnie ważne w kontekście rosnącego zainteresowania otwartymi modelami generatywnymi, które coraz częściej trafiają do produkcji. Polymorphic Inference pozwala firmom unikać tradycyjnego problemu "fixed configurations" - gdzie optimizacja dla jednego zestawu warunków oznacza słabą wydajność w innych scenariuszach.