Naukowcy zaproponowali OGC-DPO, framework aktywnego uczenia preferencji przeznaczony do wyrównywania wielocelowego dużych modeli językowych. Zamiast polegać na zewnętrznym modelu nagrodzenia, metoda mierzy informatywność każdej kombinacji pary odpowiedzi i celu poprzez niejawny gradient polityki samego modelu, co czyni ją bardziej efektywną obliczeniowo.
Główną innowacją jest traktowanie konfliktujących preferencji nie jako szkodliwych, ale jako użytecznych sygnałów treningowych. Istniejące podejścia zazwyczaj albo brakuje im mechanizmu wyboru zapytań uwzględniającego cele w ustawieniu wielocelowym, albo całkowicie wykluczają sprzeczne preferencje. OGC-DPO natomiast wybiera zapytania, które maksymalnie rozszerzają gradient coverage dla każdego celu, traktując każdą kombinację pary odpowiedzi i celu jako oddzielne zapytanie.
Empiryczne eksperymenty na różnych ilościach celów wykazały, że OGC-DPO przewyższa istniejące metody aktywnego uczenia preferencji przy tym samym budżecie adnotacji. To znaczenie wynika z rosnącego wyzwania dostosowywania LLM do wzajemnie wpływających się celów - zmniejszenie kosztów adnotacji bez poświęcania jakości wyrównania jest kluczowe dla praktycznego wdrożenia takich systemów.