Naukowcy opracowali nową metodę EAACD do redukcji halucynacji w modelach mixture-of-experts (MoE), przeanalizując, jak te architektury różnią się od standardowych transformerów w kwestii redukcji błędnych wyjść. Poprzednie podejścia do zmniejszania halucynacji, takie jak prompt engineering czy optymalizacja modeli, nie zmieniały znacząco wewnętrznej wiedzy modeli i słabo generalizowały się między domenami. Contrastive decoding okazał się efektywny w transformerach poprzez wykorzystanie różnic w aktywacji między warstwami, ale nikt jeszcze nie badał tego na architekturach MoE.
W empirycznych badaniach zespół odkrył, że modele MoE ze wspólnymi ekspertami nie wykazują tych samych różnic warstwowych co transformery. Jednak w wyższych warstwach różnych modeli MoE zaobserwowano wyraźnie inne wzorce aktywacji ekspertów między faktycznymi i niefaktycznymi wyjściami. Ta obserwacja stała się podstawą do opracowania metody EAACD, która wykorzystuje różnice między ekspertami w wyższych warstwach do walki z halucynacjami. Algorytm dzieli ekspertów na grupy o wyższej niezawodności (na podstawie ich pewności i konsystencji) i grupy o niższej niezawodności, a następnie kontrastuje predykcje między nimi, aby skalibrować oryginalne predykcje modelu.
Aby wzmocnić efekt kontrastu, EAACD amplifikuje halucynacje z ekspertów o niższej niezawodności za pomocą mechanizmów uwagi i maskowania, dostarczając silniejsze negatywne odniesienia dla procesu dekodowania. Taka procedura pozwala modelom MoE lepiej odróżniać faktyczne informacje od wymyślonych, co jest szczególnie ważne dla praktycznego zastosowania dużych modeli językowych w zadaniach wymagających dokładności, takich jak systemy question-answering czy asystenci informacyjni.