Nowe badanie z arXiv pokazuje, że sposób sformułowania promptu ma istotny wpływ na wydajność dużych modeli językowych w zadaniach z programowania konkurencyjnego, lecz nie ma uniwersalnego rozwiązania działającego zawsze najlepiej. Zespół testował dziewięć różnych stylów promptów na modelu GPT-4.5 na trzech zadaniach Międzynarodowej Olimpiady Informatycznej oraz dwóch zadaniach o wysokiej złożoności obliczeniowej, mierząc zarówno dokładność jak i szybkość wykonania.
Wyniki ujawniają, że wybór optymalnego promptu zależy od charakteru zadania i metryki ewaluacji - najlepszy prompt dla średniej arytmetycznej wyników różnił się od najlepszego dla mediany. Badacze zwrócili również uwagę na to, że różnice w średnich wynikach często pochodziły z kilku pojedynczych przypadków skrajnych, co sugeruje, że ocena efektywności promptu wyłącznie jednym wskaźnikiem może być myląca. Porównując opisowo wyniki AI z wydajnością ludzkich konkurentów IOI, model nie okazał się ani jednoznacznie lepszy, ani gorszy - przewyższył średniego uczestnika w jednym zadaniu, ale nie osiągnął ich poziomu w pozostałych dwóch.
Badanie ma znaczenie dla praktycznego zastosowania AI w programowaniu, pokazując, że deweloperzy powinni dopasowywać strategię promptingu do konkretnego problemu zamiast szukać uniwersalnego podejścia. Rosnące zainteresowanie użyciem LLM w konkurencyjnym programowaniu wymaga lepszego zrozumienia, jak zmienne jak formułowanie pytania wpływają na wydajność, zarówno jeśli chodzi o poprawność jak i efektywność obliczeniową.