Metrika TTFT (Time to First Token) jest błędem przy wyborze API dla agentów głosowych, choć jest powszechnie używana właśnie do tego celu. TTFT mierzy moment, kiedy system zaczyna generować odpowiedź, ale w przypadku głosu to tylko część historii - model tekst-na-mowę nie może zacząć syntezy zanim nie otrzyma pełnego zdania lub klauzuli. To oznacza że agenci z niskim TTFT mogą faktycznie działać powoli, jeśli tokeny przychodzą wolno.
LiveKit proponuje zamiast tego metrykę TTFS (Time to First Sentence) - czas do pierwszego kompletnego zdania - jako to, co użytkownicy rzeczywiście słyszą. Dla pełnego obrazu trzeba patrzeć na dwa niezależne elementy: TTFT kontroluje kiedy zaczyna się generacja, a tokens per second określa jak szybko pierwsze zdanie się kończy. Dostawca może wygrać na jednym froncie i przegrać na drugim, dając złudzenie niskiej opóźnienia.
Benchmark przeanalizował każdą warstwę stosu głosowego - model języka, speech-to-text, text-to-speech i speech-to-speech - aby pokazać jak te elementy sumują się w rzeczywiste opóźnienie, które słyszy użytkownik. Latencja jest budżetem, który agent głosowy musi zarządzać na każdym etapie, a każda millisekunda ma znaczenie dla tego czy interakcja będzie czuć się naturalna czy przerwana.