Liquid AI ogłosiła uruchomienie silnika RIPL do serwowania Liquid Foundation Models z latencją poniżej 50 milisekund end-to-end, utrzymując tę wydajność nawet przy ciągłym napływie ruchu na pełnym obciążeniu. Zgodnie z komunikatem producenta, RIPL zwraca kompletne odpowiedzi wygenerowane w czasie rzeczywistym, pozwalając zamieniać tradycyjne modele gradient-boosted trees na generatywne z zachowaniem budżetu latencji.
Silnik wspiera modele LFM2.5 o rozmiarach od 230 milionów do 2.6 miliarda parametrów i działa na kartach NVIDIA H100, H200, B200 oraz RTX PRO 6000. W testach Liquid AI model LFM2.5-1.2B osiągnął latencję p95 na poziomie 155.8 ms w porównaniu z 4,431 ms dla Qwen3.5-0.8B - różnica 28.4 razy. Największy model LFM2.5-2.6B wykazał mniejszą przewagę z latencją 449.1 ms wobec 2,499 ms, dając przyspeszenie 5.6 razy. Pełna gwarancja sub-50 ms obowiązuje jednak tylko dla krótszych żądań.
RIPL rozwiązuje konkretny problem: większość stosów serwowania obsługuje duże partie i długotrwałe zadania agentic, gdzie kilka sekund na żądanie jest akceptowalne. W aplikacjach wymagających odpowiedzi w milisekundach - rankingowaniu wyszukiwania, detekcji oszustw, autoryzacji płatności - zespoły tradycyjnie sięgały po klasyczne modele, bo serwowanie LLM-ów było zbyt wolne. RIPL ma usunąć tę kompromisów, optymalizując całą ścieżkę od przybycia żądania do dostarczenia odpowiedzi.