Zespół badaczy opracował D2PO, framework łączący Direct Preference Optimization z optymalizacją próbników dyfuzji, czyli algorytmów odpowiedzialnych za generowanie obrazów z modeli takich jak Stable Diffusion. Główny problem, który rozwiązuje to podejście, polega na tym, że dotychczasowe metody uczyły mniejsze modele naśladować większych nauczycieli, co prowadziło do utraty drobnych detali tekstury na rzecz globalnych struktur. D2PO reformułuje ten problem jako zadanie wyrównania preferencji, gdzie system samodzielnie uczy się wybierać lepsze próbki.
Kluczową innowacją jest modelowanie polityki próbnikowania jako energy-based model (EBM), dzięki czemu porównania preferencji można przekształcić w różnice energetyczne. Researchers zaproponowali też nową formulę energii bezpośrednio z pretrenowanej sieci score, co pozwala na ewaluację preferencji w zdezorganizowanych przestrzeniach łączących spójność strukturalną i drobne detale. Mechanizm dynamicznych preferencji jest szczególnie interesujący - preferowane próbki stopniowo się poprawiają w trakcie uczenia, tworząc samoulepszający się proces zamiast sztywnego nadzoru stałego nauczyciela.
To podejście ma znaczenie dla praktycznego wdrażania modeli dyfuzji, ponieważ pozwala uzyskać lepszą jakość obrazów przy niższej liczbie kroków obliczeń (NFE). Zamiast kompromisu między szybkością a jakością, D2PO oferuje iteracyjny proces refinementu, gdzie każda iteracja treningu dostarcza lepsze sygnały wyrównania do sieci. To ma potencjał przełożyć się na szybsze i bardziej efektywne generowanie obrazów wysokiej jakości w praktycznych aplikacjach.