Badacze przeprowadzili kompleksową implementację Microsoft SkillOpt — narzędzia do automatycznego dostrajania i optymalizacji promptów dla modeli językowych. Cały proces obejmował konfigurację repozytorium, integrację z modelami kompatybilnymi z API OpenAI oraz ustawienie optymizera i modeli docelowych.
Głównym elementem było uruchomienie pełnej pętli optymalizacji, w której system iteracyjnie ulepszał prompt poprzez sekwencję kroków: rollout (testowanie bieżącej wersji), reflection (analiza wyników), aggregation (zbieranie informacji), selection (wybór najlepszych wariantów), updating (modyfikacja instrukcji) i validation-based gating (kontrola jakości). Cały proces był dokładnie monitorowany, aby śledzić historię treningu, zmianę dokładności, zachowanie budżetu edytacji oraz wykorzystanie tokenów.
Finałowym krokiem było porównanie ewolucjonowanego prompta z wersją bazową. Taka instrumentacja umożliwia badaczom rozumienie, jak dokładnie zmienia się wydajność modelu podczas optymalizacji oraz jakie zasoby obliczeniowe są zużywane. Projekt ma praktyczne znaczenie dla organizacji pracujących z dużymi modelami językowymi, pokazując sposób na systematyczne podwyższanie jakości bez konieczności ręcznego tworzenia instrukcji.