Naukowcy z arXiv opublikowali pracę nad LightCRS - systemem, który rozwiązuje kluczowy problem w rekomendacji konwersacyjnej dla wielu domen produktowych. Dotychczasowe podejścia stawiały wybór między drożyzną a dokładnością: albo wdrażało się osobny dostosowany model wizyjno-językowy dla każdej kategorii produktów, albo łączyło wszystko w jeden model, co pogorszyło wyniki ze względu na różne charakterystyki produktów.
LightCRS łamie ten dylemat poprzez eleganckie rozdzielenie obliczeń. System prekalkuluje reprezentacje produktów offline, używając zamrożonych enkoderów, co wykonuje się tylko raz dla całego katalogu. Online, kompaktny moduł z zaledwie 5,3 miliona parametrów (niesamowicie leciutki w porównaniu do pełnych modeli) fuzjonuje informacje dla każdego dialogu przy pomocy query-conditioned cross-attention. Kluczowy trik to współdzielenie parametrów tego modułu między wszystkimi 25 domenami, przy czym kandydaci porównywane są wspólnie za pomocą inter-candidate Transformera.
Wyniki robi wrażenie: LightCRS poprawia hit rate o 35,4 procent nad dotychczasową najlepszą metodą, zmniejsza opóźnienie odpowiedzi 266 razy, a już samo łączne trenowanie na wielu domenach daje wzrost trafności o 15,2 procent w porównaniu z osobno trenowanymi modelami. Do badań naukowcy stworzyli MM-R2A-25 - nowy benchmark łączący 25 domen produktowych z rzeczywistymi rozmowami z Reddit'a szukającymi rekomendacji i listami produktów z Amazon'a, co stanowi ważny zasób dla przyszłych prac.