Zespół naukowców zaproponował W2S-OPD, metodę umożliwiającą ulepszanie silnych modeli uczniów poprzez destylację od słabszych nauczycieli. Tradycyjne podejścia do destylacji on-policy wymagają nauczyciela co najmniej tak samo zdolnego jak uczeń, co staje się niemożliwe na granicy postępu, gdzie nie istnieją większe modele.
Nowa metoda konstruuje syntetycznego nauczyciela w przestrzeni logitów poprzez użycie pary kontrastowej: pozytywnego modelu i negatywnego, oba mniejsze od ucznia. Różnica logitów między nimi izoluje kierunek zdolności, który jest dodawany do bazowego modelu ucznia. Powstały proxy teacher pozostaje bliski rozkładowi ucznia, jednocześnie wzbogacając go o nowe umiejętności. Uczeń następnie destyluje ten syntetyczny model poprzez minimalizację reverse KL na własnych rolloutach.
Badacze testowali kilka wariantów pary kontrastowej: eksperta po treningu RL wobec jego inicjalizacji sprzed RL (izolując umiejętności wpojawiające się przez RL), większego modelu bazowego wobec mniejszego (izolując efekt skali) oraz modelu bazowego z poprawnymi i błędnymi wskazówkami (izolując kierunek dla konkretnych instancji). To elastyczne podejście dramatycznie obniża koszty treningu i umożliwia dalsze ulepszanie modeli bez potrzeby posiadania większych nauczycieli.