Naukowcy opracowali CaLR - framework reformulujący zadania rozumowania jako problemy optymalizacji na poziomie latentnym z ograniczeniami przyczynowymi. Podejście to ma za zadanie pogodzić mocne strony dwóch głównych klas modeli: autoregresyjnych (AR), które cierpią na lokalną chciwość decyzji, i modeli dyfuzji (DLM), które brakuje im ścisłej struktury przyczynowej wymaganej do logicznego wnioskowania.
Metoda CaLR działa poprzez przyjęcie macierzy topologii przyczynowej od modelu eksperta oraz zastosowanie niejawnego różniczkowania do przeprowadzenia procesu zwanego gradient-guided thought revision. To pozwala na dynamiczną samokorektę pośrednich kroków podczas paralelnego generowania tekstu, wymuszając logiczną spójność rozumowania. Framework łączy więc zalety obu podejść - równoległy charakter modeli dyfuzji z logiczną ścisłością wymaganą dla skomplikowanego rozumowania.
Wyniki empiryczne pokazują, że CaLR osiąga stan sztuki dla modeli dyfuzji na złożonych benchmarkach, przewyższając silne baseline'y autoregresyjne. Szczególnie imponujące są wyniki w zadaniach constrained takich jak rozwiązywanie Sudoku, gdzie model wykazuje znacznie wyższą niezawodność i poprawność. To sugeruje, że konstytucyjne podejście do rozumowania w modelach dyfuzji może otworzyć nowe możliwości dla AI zdolnego do zaawansowanego logicznego wnioskowania.