Naukowcy opracowali nową metodę treningu sztucznych inteligencji o nazwie ξ-DPO, która zmienia sposób dostrajania modeli języka poprzez zmianę podejścia do mierzenia preferencji. Zamiast patrzeć na różnice między nagrodami za dobre i złe odpowiedzi, ξ-DPO posługuje się stosunkami między nimi, co teoretycznie powinno dokładniej odzwierciedlać to, czego naprawdę chcemy nauczyć model. To udoskonalenie metody Direct Preference Optimization, czyli podejścia, które już teraz szeroko wykorzystywane w treningu współczesnych dużych modeli języka.
Znaczenie tej pracy polega na wyrównaniu teorii z praktyką. Obecne metody jak DPO działają dobrze, ale między ich matematycznym opisem a rzeczywistymi wynikami istnieje rozdźwięk - model optymalizuje coś innego niż to, co pierwotnie zamierzali naukowcy. ξ-DPO ma zmniejszać tę rozbieżność poprzez bardziej stabilną optymalizację, co mogłoby przełożyć się na lepsze i bardziej przewidywalne dostrajanie modeli. Prostsze możliwości kalibracji, mniej warunków, które trzeba spełniać - wszystko to sprawia, że metoda jest bardziej praktyczna.
Jeśli ξ-DPO rzeczywiście przyniesie przewidywane korzyści, może wejść do standardowego zestawu narzędzi przy szkoleniu nowych modeli AI. Dla zespołów pracujących nad dużymi modelami języka oznaczałoby to szybszy i bardziej efektywny proces dostrajania, a dla szerzej pojętej branży - mniejsze koszty obliczeniowe. To typ badań, który nie stanowi przełomu na miarę nowego architektury sieci neuronowej, ale może niemal niedostrzegalnie udoskonalić to, jak tworzymy i optymalizujemy modele AI.