Naukowcy opublikowali analizę MAGE, platformy badawczej do kontrolowanego badania interakcji między komponentami iteracyjnej optymalizacji promptów. Framework łączy pamięć epizodyczną, selekcję Pareto wielocelową oraz adaptacyjną ewaluację, nie pozycjonując się jako zwyczajnie lepszy optimizer, lecz jako narzędzie do zrozumienia zachowań systemowych.
Kluczowym odkryciem jest zjawisko nazwane Prompt Optimization Coupling Effect - POCE. Gdy wiele stochastycznych sygnałów optymalizacyjnych działa jednocześnie w zamkniętej refleksywnej pętli, interakcje między nimi mają sprzeczne efekty: jednocześnie poprawiają wydajność i amplifikują wariancję w sposób, który nie można przewidzieć analizując komponenty oddzielnie. Badanie wykazało, że refleksja oparta na błędach jest niezbędna - metody opierające się wyłącznie na ocenach (OPRO) lub abstrakcyjnej krytyce (Self-Refine) nie ulepszają promptów.
Wyniki na zestawie GSM8K-Hard pokazują MAGE z 46,4% dokładnością wobec 34,0% dla konkurencyjnego GEPA (wzrost 12,4 procent z poziomem ufności P=0,998 na pięciu badaniach z gpt-4o-mini), przy porównywalnej wariancji. Jednak gdy zwiększono pulę kandydatów z 3 do 5 opcji, średnia dokładność wzrosła o 21,6%, ale wariancja zwiększyła się 3,7-krotnie - pokazując najwyraźniejszy sygnał POCE. Badacze potwierdzili rezultaty na Llama 3.1 8B i odkryli, że POCE jest zależny od dostępnego marginesu poprawy: zjawisko jest silniejsze, gdy model bazowy ma jeszcze miejsce na ulepszenie.