Naukowcy z arXiv CS.AI zaprezentowali przełomowe podejście do geolokalizacji opartej na języku naturalnym - DialogueVPR, które zastępuje statyczne wyszukiwanie interaktywną rozmową. Zamiast polegać na jednokrotnym zapytaniu tekstowym, system prowadzi wieloturową konwersację, gdzie AI inteligentnie zadaje pytania, aby uzyskać dodatkowe informacje i rozwiązać niejasności w opisach lokalizacji.
Aby wspierać to nowe zadanie, zespół opracował DlgQuest-Cities - pierwszy na dużą skalę benchmark zawierający dialogi do rozpoznawania miejsc. Proponowana architektura łączy cross-modalny retriever wielopoziomowy z modułem DQ-pilot, który generuje pytania. System trenowany jest dwustopniowo: najpierw z nadzorem na zbiorze DQ-cities-20k, a następnie przy pomocy reinforcement learning (GRPO) na trudniejszym podziale DQ-cities-10k. Dwie metryki kierują procesem nauki - Discriminative Difficulty Index dla wyboru próbek treningowych oraz Positional Retrieval Gain bezpośrednio mierzący poprawę w wyszukiwaniu.
Eksperymenty wykazują, że conversacyjne podejście do wyszukiwania znacząco przewyższa bazowe metody. Kod i modele są dostępne w repozytorium projektu, co otwiera możliwości dalszych badań nad wieloturowym dialogiem w zadaniach geolokalizacji.