OpenAI wydało dwie zaktualizowane wersje modeli Realtime w API - gpt-realtime-2.1 i gpt-realtime-2.1-mini - oferując niskoopóźnieniowe doświadczenia dla głosowych i multimodalnych aplikacji. Model mini wprowadza zdolność rozumowania dla interakcji głosowych w cenie poprzedniej wersji, co czyni go szczególnie atrakcyjnym dla twórców agentów chatbotów głosowych.
Nowy gpt-realtime-2.1-mini to mini model do rozumowania dla interakcji głosowych działających w czasie rzeczywistym. Odpowiada na wejścia audio i tekstu przez bezpośrednie połączenie, pozycjonując się jako szybsza i bardziej ekonomiczna opcja. Architektura jednomodelowa przetwarzająca i generująca audio w jednym miejscu eliminuje potrzebę łączenia oddzielnych systemów zamiany mowy na tekst i tekstu na mowę, co zmniejsza opóźnienie i zachowuje niuanse naturalnej mowy. Model wspiera rozumowanie wewnętrzne, a także wywoływanie funkcji (tool use), pozwalając agentom planować kroki, wywoływać funkcje, a następnie udzielać odpowiedzi.
Wersja większa, gpt-realtime-2.1, ulepszył rozpoznawanie znaków alfanumerycznych i polepszył obsługę ciszy, szumów oraz zachowanie przerwań. Oba modele wspierają mowę do mowy z konfigurowalnym wysiłkiem rozumowania. Kluczową ulepszeniem jest redukcja opóźnienia P95 o co najmniej 25% dzięki udoskonalonej pamięci podręcznej, co znacząco przyspieszył responsywność agentów głosowych na wszystkich modelach Realtime.