Naukowcy opracowali AVERT, system do śledzenia stanu w dialogach mówonych, który łączy weryfikację audio z oceną konsystencji między turami konwersacji. Problem polega na tym, że błędy w rozpoznawaniu mowy skupiają się na wartościach encji i utrzymują się przez całą rozmowę, tworząc zarówno wyzwanie generacyjne jak i edycyjne. Silny edytor tekstowy na pojedynczą turę poprawia wiele błędów, ale pracując wyłącznie na transkrypcji, nie potrafi zastosować trzech rodzajów poprawy: skorygować niespójnych wartości między turami, dodać pominięte sloty czy usunąć wartości niezgodne z treścią audio.
AVERT rozwiązuje te problemy przez trzy operatory - vote, add i swap - każdy ograniczony do slotów, gdzie dany błąd jest częsty. System ocenia każdą kandydatującą wartość łącząc zgodę między turami z wytrenowanym weryfikatorem warunkowanym audio. Na benchmarku SpokenWOZ podstawowy speech-LLM osiągnął 33,04 procent dokładności, edytor tekstowy 38,34 procent, a AVERT 40,13 procent bez ponownego trenowania żadnego modelu. Wynik ten zbliża się do wydajności systemu end-to-end zawierającego całą historię mówioną, która wynosiła 39,32 procent.
Znacząca poprawa pochodzi z weryfikatora audio, a ograniczenie operatorów do wybranych podzbiorów slotów okazało się kluczowe - bez tego ograniczenia nieograniczone głosowanie mogłoby zastąpić poprawne wartości kategoryczne i obniżyć wynik poniżej samego edytora. Badanie pokazuje, że bezpośrednia weryfikacja audio może skutecznie uzupełniać podejścia oparte na tekście w przetwarzaniu mowy.