Naukowcy zaprezentowali Lift-Bench, nowy benchmark do oceny zdolności modeli AI do wykonywania instrukcji, który eliminuje problem manipulacji systemem nagród. Dotychczasowe benchmarki takie jak IFEval skupiały się na prostych, łatwo weryfikowalnych ograniczeniach, co prowadziło do tego, że modele optymalizowały się pod testy zamiast rzeczywistych zdolności. Nowe podejście łączy zadanie główne z ograniczeniami, co zmniejsza możliwość oszukiwania systemu.
Lift-Bench prosi modele aby redagowały dokument na podstawie tematu i strukturalnego planu, z ograniczeniami przypisanymi do konkretnych sekcji dokumentu. To daje bardziej precyzyjną kontrolę nad gęstością ograniczeń. Benchmark integruje zarówno ograniczenia, które można automatycznie zweryfikować, jak i te wymagające oceny człowieka. Równie ważny jest towarzyszący zestaw treningowy Lift-Train, który umożliwia trenowanie modeli bez ryzyka optymalizacji pod kątem sztucznych metryk.
Eksperymenty z wieloma modelami wykazały, że nawet modele zaawansowane borykają się z trudniejszymi podzbiorami Lift-Bench. Kluczowe znalezisko: trenowanie na Lift-Train okazało się znacznie mniej podatne na reward hacking niż trenowanie na standardowym IFTrain. Zarówno benchmark jak i pipeline generujący dane zostały udostępnione publicznie, co powinno ułatwić rozszerzanie i iteracyjne ulepszanie tego podejścia.