Badacze opracowali technikę test-time'ową, która bezpośrednio adresuje problem niekompletności wyjaśnień generowanych przez duże modele językowe. Zamiast trenować modele na nowo lub intensywnie modyfikować prompt, proponują proste podejście: gdy model poda odpowiedź i wyjaśnienie, usuwają z wejścia wszystkie pojęcia, które nie zostały wymienione w objaśnieniu, a następnie pytają model ponownie na zmniejszonym wejściu. To eliminuje ukryte wpływy pominiętych czynników, jednocześnie zachowując wpływ koncepcji, na które model się powołuje.
Problem wierności wyjaśnień jest krytyczny, bo modele językowe znajdują coraz szerzej zastosowanie w decyzjach o dużym znaczeniu - od diagnozy medycznej po wyroki sądowe. Jednak dotychczasowe wyjaśnienia są często zawodne. Istnieją dwie główne kategorie tego problemu: niekompletność, gdy model wpłynęła decyzja na inne czynniki, które w wyjaśnieniu pominął, oraz unsoundness, gdy model powołuje się na rzeczy, które jego decyzji w ogóle nie wpłynęły. Istniejące podejścia do poprawy wierności wymagają dostępu do wag modelu i ogromnych zasobów obliczeniowych albo skupiają się głównie na błędności.
Nowa metoda ma kilka zalet. Po pierwsze, działa w czasie wnioskowania bez modyfikacji wag modelu, co czyni ją praktyczną do natychmiastowego wdrożenia. Po drugie, jest agnostyczna wobec architektury - może być stosowana do dowolnego modelu. Po trzecie, badacze testowali ją na dwóch zbiorach danych, wielu rodzinach modeli i dwóch niezależnych metrykach wierności, wszędzie obserwując poprawę w stosunku do standardowego promptingu i promptów zachęcających do wierności. To sugeruje, że podejście oparte na usuwaniu koncepcji ma potencjał stać się standardowym narzędziem audytu wyjaśnień modelu.