Wybieraj, nie ucz: modułowa dezambiguacja encji z selekcją opartą na LLM

Badacze z arXiv przedstawili wyniki pokazujące, że dezambiguacja encji - zadanie polegające na przypisywaniu jednostek rzeczywistych do wpisów w bazie wiedzy - może być rozwiązane efektywnie bez trenowania kosztownych retrieverów. Zamiast tradycyjnego podejścia z dual-encoders optymalizującymi zarówno retrieval jak i selection w jednej przestrzeni wektorowej, zespół testował modułową kombinację: prosty BM25 lub Web KB search do generowania kandydatów oraz LLM do ostatecznego wyboru.

Wyniki były zaskakujące. Zarówno open-source jak i closed-source LLM-y wykazywały znacznie lepszą zdolność do precyzyjnego wyboru niż dotychczasowe systemy dual-encoder. Przełom polegał na zdekompozycji problemu: zamiast zmuszać jeden model do balansowania między szerokim szukaniem a precyzyjną selekcją, każdy komponent robił to, do czego był najlepiej przystosowany. Na benchmarku ZELDA konfiguracja BM25 + LLM selektor osiągnęła 86,3 punktów micro-F1, podwyższając wcześniejszy state-of-the-art z 82,3. Dodanie wytrenowanego gęstego retrievera podniosło wynik do 88,5.

To odkrycie ma praktyczne konsekwencje. Ponieważ grafy wiedzy się dynamicznie rozwijają i zmieniają, trenowanie dedykowanych retrieverów jest kosztowne i wymaga ciągłych aktualizacji. Podejście bez trenowania - opierające się na zmieniającym się BM25 indeksie i uniwersalnym LLM - oferuje większą elastyczność i łatwość utrzymania. Jednocześnie badanie ujawnia jednak fundamentalne ograniczenie obecnych systemów: kiedy prawidłowa encja w ogóle nie pojawia się wśród wygenerowanych kandydatów, żaden LLM nie może jej wybrać. Problem ten otwiera nowe kierunki optymalizacji recall na etapie retrieval.