Naukowcy z comunity AI zaprezentowali AhaBench - nowy benchmark mający zmierzyć, czy współczesne agenty ze wskaźnikami językowymi rzeczywiście uczą się z wcześniejszych doświadczeń podczas długotrwałych operacji. Większość obecnych testów ocenia agenty albo poprzez resetowanie po każdym promptcie, albo sprawdzając tylko końcowy stan jednej trajektorii. AhaBench pyta bardziej praktyczne pytanie: kiedy model otrzyma przydatne doświadczenie, czy jego późniejsze zachowanie się poprawia w warunkach gdzie to wsparcie zostało usunięte, zmienione lub opóźnione?
Benchmark zawiera trzy komponenty. Aha-Puzzle testuje eksplorację bez podpowiedzi po rozwiązaniu zagadek o ukrytym stanie. Aha-Euler zamienia matematyczne pomysły w stylu Project Euler na dynamicznie generowane zadania z dokładnymi walidatorami. Aha-Vending, implementacja open-source inspirowana Vending-Bench, sprawdza czy symulowany agent automatu utrzymuje rentowność obsługując opóźniony feedback i incydenty operacyjne. Kluczową innowacją AhaBench jest trójczęściowa karta wyników: Initial Score mierzy początkową kompetencję, Post-Experience Score mierzy empiryczny wynik po doświadczeniu, a Learning Lift pokazuje różnicę między nimi.
Wyniki na panelu ośmiu modeli ujawniają ciekawy wgląd: modele, które świetnie wykorzystują widoczne wsparcie, modele osiągające wysokie wyniki po doświadczeniu i modele poprawiające się najbardziej podczas pracy to nie zawsze te same systemy. Claude Opus 4.6 prowadzi z agregatowym wynikiem Post-Experience Score 64.3 pkt i wzrostem Learning Lift +25.8 pkt. Takie rozróżnienie między zdolnościami może zmienić sposób, w jaki branża podchodzi do ewaluacji agentów, pokazując że papierowe wyniki z widocznym wsparciem niekoniecznie przekładają się na rzeczywistą zdolność uczenia się.