Naukowcy zaproponowali nową metodę automatycznego generowania wytycznych promptów dostosowanych do konkretnych zadań i modeli językowoych. Problem, który próbują rozwiązać, jest praktyczny: użytkownicy często piszą niedospecyfikowane zapytania, które zmuszają model do zgadywania intencji i wymogów. Istniejące wytyczne prompt engineering'u są na ogół zbyt ogólne i nie zawsze trafiają w sedno.
Sistem AGOPS analizuje istniejące przykłady zadań wraz z referencyjnymi odpowiedziami, aby automatycznie odkryć ukryte informacje potrzebne do prawidłowego specyfikowania promptów. Obejmuje to ograniczenia behawioralne, założenia kontekstowe i kryteria oceny. Proces ewolucji promptu wykorzystuje dwa LLM-y - jeden pełniący rolę autora promptów, drugi jako solver - aby iteracyjnie poprawiać wytyczne i maksymalizować ich efektywność na zbiorze przykładów.
Badacze przetestowali podejście na trzech domenach: problemach z matematyki, odpowiadaniu na pytania medyczne i zadaniach programistycznych. Wyniki pokazały, że automatycznie wygenerowane wytyczne znacznie poprawiają jakość odpowiedzi modelu w porównaniu z ogólnymi poradami. To otwarcie nowy kierunek dla optymalizacji promptów - zamiast ręcznego tworzenia uniwersalnych porad, systemy mogą teraz automatycznie dostosowywać instrukcje do specyficznych wymagań danego problemu i konkretnego modelu.