Naukowcy badają, czy model może używać własnej hierarchii semantycznych identyfikatorów (SID) do lepszej ewaluacji offline nowych wariantów rekomenderów przed przeprowadzeniem kosztownych testów A/B. W generatywnych rekomenderach każdy element reprezentowany jest jako krótka sekwencja hierarchicznych kodów dyskretnych z quantizera rezydualnego, dekodowanych autoregressywnie.
Zasadnicze odkrycie brzmi: ewaluacja na poziomie pojedynczych elementów jest praktycznie niemożliwa przy logowaniu bliskim argmax (które stosują produkcyjne systemy), bo efektywna próba na poziomie elementów jest zbyt mała. Jednak gdy zmarginalizeuje się elementy do klastrów kodów przedrostkowych, przywraca się estymowalne wsparcie i znacznie zmniejsza się błąd. Zysk wynika głównie z samego coarsening-u, a nie konkretnie z hierarchii - ale to właśnie struktura SID umożliwia takie zgrupowanie w systemach generatywnych, ponieważ masa każdego klastra może być dokładnie i tanio zwrócona przez dekoder. W kontraście, standardowe clustering wymagałoby enumeracji mas dla każdego elementu lub liścia, co dekodera oparty tylko na kodach nie udostępnia bezpośrednio.
Kluczowym parametrem sterowania jest głębokość rozdzielczości - bardziej zgrubna przy mniejszym wsparciu. Naukowcy ustalili warunkową górną granicę odchylenia, którą wiąże się z najgorszym przypadkiem rekonstrukcji quantizera i dywergencją między target a logging dystrybucją. To pozwala zespołom decydować się offline, które dekodery czy warianty reranking-u warte są testowania zanim zainwestują ograniczone zasoby A/B-testów.