Nowy benchmark DiG-bench (Discovery in Games) stawiającej sobie za cel zmapowanie granic odkrywania w interaktywnych systemach poprzez zestaw 70 gier z ukrytymi zasadami i celami. Każda gra to mini-świat z własnymi prawami, ale zarówno reguły jak i obiektyw są przed graczem ukryte i muszą zostać odkryte poprzez interakcję - koncepcja podobna do wizualnego benchmarku ARC. Kluczową mierzoną zdolnością jest umiejętność wykrycia ważnych mechanik decydujących o sukcesie, gdzie poprzez eksperymentowanie gracze odkrywają jak ich akcje zmieniają środowisko.
DiG-bench bada fundametalne pytanie o możliwościach współczesnych AI - jak dobrze systemy radzą sobie w inferowaniu niezapisanych reguł poprzez eksplorację i własną ciekawość versus uczenie się bezpośrednio przekazywanych zasad. To podejmuje równoledź do tego jak ludzie uczą się nowych gier i systemów poprzez eksperymentację. Benchmark jest dostępny online na digbench.ai gdzie można samodzielnie przetestować wybrane gry i zrozumieć logikę tego podejścia.
To odzwierciedla szerszy trend w badaniach AI skupiony na ocenie bardziej zaawansowanych i intuicyjnych zdolności systemów poza tradycyjnymi benchmarkami. Zdolność do samoistnego odkrywania reguł ma znaczenie dla rozwoju bardziej niezależnych i adaptacyjnych systemów AI, które mogą pracować w nowych i nieznanych wcześniej środowiskach bez stałego wsparcia ze strony człowieka.