Badacze opracowali StruPO - system do edycji prompt-ów w generatorach tekstu na obraz, który pozwala улучшать wizualne wyniki bez niszczenia struktury żądanego obrazu. Problem, który rozwiązuje, jest prosty ale ważny: gdy optymalizuje się prompt-y, zmienia się często to, co użytkownik chciał zobaczyć - relacje między obiektami słabną, a atrybuty obiektu tracą wierność, nawet gdy ogólne podobieństwo tekst-obraz pozostaje wysokie.
Serce rozwiązania to kalibrowany graf sceny - matematyczna reprezentacja tego, jakie obiekty są na obrazie i jak się do siebie mają. Ten graf służy zarówno jako guide dla polityki edycji prompt-u, jak i źródło sygnału treningowego. System uczy się, co powinno się zmienić (dodawanie, usuwanie, zmiana kolejności słów) w oparciu o strukturalną sprzężenie zwrotną, jednocześnie radzqc sobie z niepewnością w grounding-u (powiązaniu słów z elementami obrazu) i stochastyczną generacją obrazów.
Eksperymentalne walidacja jest solidna - testy na trzech zbiorach po 2 tysiące prompt-ów i czterech różnych modelach generacyjnych pokazały, że StruPO konsekwentnie poprawia wierność relacji między obiektami. Badanie z 15 annotatorami i automatyczne ewaluatory potwierdzały wyniki. Co istotne, przewaga w preferencjach ludzi rosła wraz ze złożonością relacji na obrazie - czyli tam gdzie problem jest największy.