Naukowcy z arXiv zaprezentowali RouteRec, framework do oceny strategii wyboru pośród agentów rekomendacyjnych działających w tandemie. Problem stoi przed każdym systemem rekomendacyjnym: mamy dostęp do wielu specjalistów - filtrów kolaboracyjnych, modeli sekwencyjnych, wyszukiwarek opartych na treści i rerankerów opartych na LLM - ale żaden z nich nie dominuje we wszystkich sytuacjach. RouteRec porównuje dwie główne strategie: hard selection (wybór jednego agenta) i learned aggregation (uczona agregacja wyników wielu agentów).
Badanie na MovieLens-1M ujawniło interesujące napięcie między ideą a praktyką. Oracle, który idealnie wie, kiedy wybrać którego agenta, osiąga HR@10 = 0.584, co dowodzi, że w danych rzeczywiście tkwią przydatne sygnały od różnych systemów. Jednak w rzeczywistych warunkach, ze sprawdzianem leakage-free na 5-fold cross-validation, hard selection osiąga zaledwie HR@10 = 0.223 - wyraźnie poniżej baseline'u BM25 (0.254). Selektywna eskalacja do LLM-a w tym scenariuszu nie pomaga.
Gdyż chodzi o agregację uczoną, zaskakujący zwrot: wariant obejmujący tylko tanie modele dopasowuje się do BM25 w HR, osiągając wyższe NDCG (0.123 vs 0.114). Jeszcze bardziej obiecujący jest gated all-agent aggregation, który sięga HR@10 = 0.295, ale wykorzystuje LLM-a w 70,2% przypadków. Główne odkrycie nie głosi, że routing jest już rozwiązany, lecz że wybór na poziomie żądania jest zbyt gruby do tego rodzaju rzadkich, stałych zbiorów kandydatów. Agregacja na poziomie przedmiotów okazuje się bardziej elastycznym i efektywnym podejściem.