Badacze opracowali CLR-Bench - benchmark do pomiaru, czy agenty samouczące się potrafią nauczyć się reguł, które nikt im bezpośrednio nie powiedział. Dotychczas było mało badań empirycznych na temat tej zdolności, a agenty często polegają na zapisywaniu korekt jako wyjątków, co powoduje wzrost listy wyjątków z każdą nową regułą zamiast nauczenia się zasady. Benchmark konstruuje zadania w postaci łańcuchów, gdzie każdy poziom dodaje jedną ukrytą regułę na bazie poprzednich, operując na nieprzejrzystych etykietach reprezentujących rzeczywiste grupowania opublikowane w Internecie, takie jak członkowie sojuszów lotniczych czy zespoły sportowe. Każde zadanie podaje jeden przykład wartości, informacja zwrotna z praktyki ujawnia jednego członka i jednego nie-członka, a test sprawdza nieznanych członków i podobnych nie-członków.
Automated pipeline autorów buduje łańcuchy zadań z nowych dziedzin danych, a zespół udostępnia 20 łańcuchów obejmujących 10 domeny. Próby potwierdzające weryfikują, że model bazowy zna członków każdego grupowania i nie zgaduje bez informacji zwrotnej. Ewaluacja sześciu ostatnich metod samouczących się pokazała rozczarowujące wyniki: z modelem certyfikującym agenty ledwie się uczą. Najlepszy uzyskuje co najwyżej 5 punktów przewagi nad zamarznięym agentem i wyklucza tylko 6-12 procent nieznanych członków z liczenia, mniej niż 20 procent osiągane przez proste przechowywanie surowej historii praktyki.
Wyniki znacznie się poprawiły, gdy badacze podali stałą lekcję wyjaśniającą konwencję o nazwanych grupowaniach - lift wynisł wtedy 14,5 do 16,5 punktów. Jednak nawet wtedy stany agentów przechowywały ujawnionego członka w 75-98 procentach przypadków, prawie nigdy zaś całą klasę. To sugeruje, że obecne metody samouczące się mają fundamentalne ograniczenia w abstrakcji i generalizacji reguł bez jawnego wytłumaczenia ich struktury.