Together AI pokazuje lepszy sposób na testowanie konkurencyjnych modeli A/B w środowisku produkcyjnym - przeprowadzanie testu bezpośrednio na poziomie endpoint-u zamiast w kodzie aplikacji. Taki podход daje wiele korzyści dla inżynierów pracujących z modelami AI.
Pierwszym krokiem jest shadow traffic. To technika, w której część ruchu kierowana jest do kandydackiego modelu bez pokazywania wyników użytkownikom. Shadow traffic pozwala zweryfikować, czy nowy model jest operacyjnie stabilny, szybko reaguje i nie zwraca błędów. To właściwie testowanie w warunkach rzeczywistego obciążenia, ale bez ryzyka.
Gdy shadow traffic potwierdzi, że kandydat działa poprawnie, można przejść do prawdziwego split testu na endpoint-u. Wtedy część użytkowników rzeczywiście otrzymuje odpowiedzi z nowego modelu, podczas gdy reszta korzysta ze starego. Takie podejście pozwala zbierać rzeczywiste dane o preferencjach użytkowników i wydajności, zamiast polegać jedynie na metrikach offline. To znacznie lepsze niż iteracyjne testowanie w kodzie aplikacji, gdzie trzeba wprowadzać zmiany i redeploy-ować.