Badacze opracowali SAPO - metodę optymalizacji promptów, która przełamuje dotychczasowy monolityczny podход. Zamiast przepisywać cały prompt na raz ryzykując pogorszenie jednych zachowań podczas ulepszania innych, SAPO rozkłada polecenia na cztery komponenty: rolę, kontekst, zadania i format wyjścia. Każdy segment jest wtedy optymalizowany celowo, na podstawie analizy przykładów, gdzie model najlepiej i najgorzej sobie radzi.
Metoda wykorzystuje pojedynczy duży model językowy z predefiniowanymi meta-promptami i strukturyzowanymi wyjściami. Proces przebiega w dwóch etapach: najpierw diagnoza na poziomie segmentów i ekstrakcja rekomendacji, potem synteza kandydatów wariantów ulepszeń, które biorą pod uwagę sygnały ze słabych i mocnych segmentów. SAPO testowano na pięciu popularynych zbiorach benchmark: SQuADv2, TweetEval, XSUM, CommonGen i GSM8K, korzystając z GPT-3.5-Turbo i GPT-4o-mini.
Wyniki pokazują, że SAPO osiąga najlepsze średnie wyniki w porównaniu z podejściem zero-shot i innymi zaawansowanymi metodami optymalizacji promptów, takimi jak APE, OPRO, EvoPrompt, GEPA czy StraGO. To znaczące odkrycie, bo pokazuje że modularne podejście do optymalizacji promptów może być bardziej efektywne niż dotychczasowe metody, otwierając nowe możliwości dla systemów opartych na dużych modelach językowych.