Naukowcy z arXiv zaproponowali framework do wykrywania niejasności w wejściach dla dużych modeli językowych, oparty na perturbacjach zachowujących etykietę. Problem polega na tym, że LLM-y zwykle odpowiadają na wieloznaczne pytania tak, jakby miały tylko jedno możliwe znaczenie, co prowadzi do błędnych odpowiedzi. Istniejące metody mierzenia niepewności wejścia opierają się na stwierdzeniach generowanych przez sam model lub jego parafrazach, ale takie transformacje już zamieniają pytanie podczas pomiaru ambiguitacji.
Zaproponowana metoda opiera się na dwóch podejściach. Pierwsze to perturbacyjna biblioteka oparta na regułach, która działa w trybie black-box - bez dostępu do wewnętrznej struktury modelu. Drugie to podejście white-box wykorzystujące sygnały z wnętrza modelu do ukierunkowania perturbacji. Oba podejścia generują warianty pytania, które pozostają bliskie oryginałowi i zachowują jego znaczenie, ale mogą ujawnić czy model konsekwentnie odpowiada na wszystkie warianty. Eksperymenty przeprowadzone na czterech zbiorach danych - w zadaniach pytań w otwartej domenie, konwersacyjnych i wizualnych - pokazały, że nowa metoda przewyższa tradycyjne podejścia bazujące na niepewności wyjściowej i parafrazach generowanych przez LLM.
Study podkreśla fundamentalną praktyczną zasadę: ambiguitacja powinna być wykryta przed podjęciem próby jej rozwiązania. Jeśli model najpierw rozpozna, że pytanie jest niejednoznaczne, może zażądać wyjaśnienia od użytkownika zamiast zgadywać interpretację. Kod badania został udostępniony na GitHubie, co umożliwi dalsze rozwijanie tej koncepcji.