Badacze z arXiv opracowali RealtimeBench, nowy benchmark służący do testowania agentów LLM w warunkach, w których środowisko się zmienia podczas gdy agent myśli i wykonuje akcje. Problem jest jasny: nawet poprawne decyzje mogą przybyć za późno, gdy świat nie czeka na rozumowanie modelu. Benchmark zawiera 180 zadań rozłożonych na sześć typów gier, które pokazują drastyczną różnicę między agentami działającymi z pauzą a bez niej.
GPT-4.1-sol wykazuje lepszą wydajność niż szybszy model Jev w testach z wstrzymanymi grami, ale sytuacja odwraca się całkowicie gdy gry działają w prawdziwym tempie. To odkrycie podkreśla fundamentalny problem w rozwoju inteligentnych agentów - wydajność w laboratorium nie przenosi się na dynamiczne środowiska rzeczywiste. Inteligencja nie wystarczy bez szybkości.
Rozwiązaniem jest TORSI (Two-Timescale Offline Recursive Self-Improvement), innowacyjna metoda szkolenia wykorzystująca dwie skale czasowe. Wolny nauczyciel analizuje błędy między poszczególnymi próbami w wstrzymanych grach i testuje poprawki, a następnie zapisuje uniwersalne instrukcje dla szybkiego ucznia. Uczeń wykonuje akcje bez konsultacji z nauczycielem podczas aktualnej gry, natomiast wyniki walidacji decydują czy dany update zostaje zatwierdzony. Metoda okazała się efektywna - po dwóch rundach średni wynik modelu Jev wzrósł z 13,51 do 24,19 punktów na skali 0-100, z poprawą we wszystkich sześciu typach gier. Co istotne, wygenerowane instrukcje poprawiły także wyniki trzech innych modeli bez potrzeby ich recalibracji.