Naukowcy przedstawili nową metodę guidance opartą na entropii, która ma rozwiązać Problem równowagi między wierności a różnorodnością w modelach dyfuzji tekstu. Podejście o nazwie SAKE (Semantic-Aware Kernel Entropy) nie wymaga dodatkowego treningu i opiera się na analizie entropii Rényi drugiego rzędu liczonych z macierzy Grama, która uchwyca zarówno semantyczne interakcje między tokenami, jak i ich względne pozycje w sekwencji.
Difuzyjne modele tekstu stanowią wciąż otwartą wyzwanie - podczas gdy difuzja zrewolucjonizowała generowanie obrazów, przeniesienie kontrolowalności na dyskretny, sekwencyjny charakter tekstu okazało się trudne. Istniejące metody próbkowania i guidance zwykle dostosowują prawdopodobieństwa tokenów bez uwzględniania szerszego krajobrazu semantycznego, co prowadzi do suboptimalnej równowagi między jakością generacji a jej różnorodnością.
Metoda SAKE linearyzuje cel w przestrzeni embeddingu, aby otrzymać praktyczny sygnał guidance, który dynamicznie dostosowuje rozkład próbkowania. Gdy model generuje powtarzające się treści, system rozplaszcza rozkład aby zachęcić do eksploracji nowych kierunków; gdy natomiast konieczna jest precyzja, rozkład się zaostrzać. Eksperymenty pokazują, że podejście osiąga lepszą granicę Pareto między wiernością a różnorodnością oraz poprawia wydajność w zadaniach wymagających rozumowania, zwłaszcza w generowaniu kodu i matematyki, w porównaniu z temperaturą skalowania i innymi metodami dyskretnego guidance.