Naukowcy opracowali DeMTS, framework do wykrywania halucynacji w modelach języka opartych na dyfuzji, czyli alternatywnym podejściu do generowania tekstu, alternatywnym wobec tradycyjnych modeli autoregresywnych. Problem polega na tym, że istniejące metody detekcji kompresują trajektorie procesu denoising wzdłuż wymiaru czasowego lub wymiary tokenów, co powoduje utratę cennych informacji zakodowanych w pełnej dwuwymiarowej strukturze token-krok.
DeMTS działa inaczej - traktuje trajektorie denoising jako wielowymiarowe szeregi czasowe na uczalnych zmiennych ukrytych. Framework zawiera moduł przypisania tokenów do zmiennych, który konwertuje sygnały z tokenów na stabilne zmienne latentne. Kluczową innowacją jest dynamiczne modelowanie wielowymiarowe, które progresywnie integruje modelowanie zależności między zmiennymi z kodowaniem czasowym. To pozwala algorytmowi wychwytywać wzorce mogące wskazywać na halucynacje, takie jak niekonsystentna zbieżność danych lub propagacja błędów między tokenami.
Badania na dwóch backbone'ach modeli dyfuzyjnych i trzech benchmarkach wykazały, że DeMTS przewyższa istniejące metody detekcji halucynacji. To ma znaczenie, bo halucynacje w modelach - momenty, gdy AI generuje pewnie brzmący tekst z faktycznie błędnymi informacjami - to jeden z największych wyzwań dla praktycznego wykorzystania takich systemów. Lepsze wykrywanie hallucynacji może uczynić modele dyfuzyjne bardziej niezawodnymi dla aplikacji wymagających wysokiej dokładności.