Zespół badaczy stworzył SpireBench, nowy benchmark oparty na grze deck-builder Slay the Spire, aby badać zdolności modeli AI do podejmowania strategicznych decyzji z dalekiej perspektywy czasowej. W testach wzięło udział 20 dużych modeli językowych grających w najwyższym poziomie trudności, co pozwoliło na precyzyjne zbadanie, gdzie i dlaczego modele zawodzą w zadaniach wymagających długoterminowego planowania.
Wyniki pokazały interesujący obraz: modele graniczne rzeczywiście pokonywały proste heurystyczne baseline'i i osiągały wyniki porównywalne ze średnim graczem, jednak znacznie odbiegały od poziomu ekspertów. Szczególnie ciekawa była obserwacja dotycząca przebiegu gry - silne modele radziły sobie prawie równie dobrze co eksperci w pierwszym akcie, ale systematycznie spadała ich wydajność w miarę postępu rundy. Analiza ujawniła, że główną słabością był błędny pomiar ryzyka: wszystkie modele miały tendencję do zachowywania zdrowia zamiast inwestowania go w podnoszenie mocy, co jest fundamentalnym błędem strategicznym w Slay the Spire.
Badacze wykorzystali kompleksowe, samodzielne przemianowanie każdego terminu z gry, aby oddzielić część wydajności opartą na wcześniejszej wiedzy od rzeczywistych umiejętności rozumowania. Odkryli, że modele nie potrafią się uczyć z notatek pisanych podczas gry - pamięć między rundami była często błędna i nadmiernie ostrożna. SpireBench oferuje pierwszy test z użyciem oryginalnej, kompletnej wersji gry i stanowi doskonały benchmark dla badań nad długoterminowym planowaniem agentów AI, ujawniając konkretne obszary, w których obecne modele zawodzą.