Zespół naukowców zaproponował nową metodę do jednoczesnego uczenia się wartości przedmiotów i oceny wiarygodności pracowników crowdsourcingowych na podstawie ich porównań parami. Problem ten jest kluczowy w wielu aplikacjach od systemów rekomendacyjnych po fine-tuning współczesnych dużych modeli językowychEFDów, gdzie człowiek ocenia jakość wyników generowanych przez sztuczną inteligencję.
Wielką wyzwaniem przy zbieraniu takich danych jest to, że pracownicy crowdsourcingowi różnią się kompetencjami i motywacją. Niektórzy mogą mieć ograniczoną wiedzę w danej dziedzinie, inni zaś celowo spamują by szybciej zarobić pieniądze bez rzetelnego wykonania zadania. Tradycyjne podejścia albo ignorują ten problem, albo próbują usuwać niewywinych pracowników post-hoc, co prowadzi do utraty danych. Nowa metoda natomiast uczy się wiarygodności każdego pracownika wprost z procesu uczenia.
Autorzy wykorzystali model Boltzmann-rational, który rozszerza klasyczny Bradley-Terry-Luce model poprzez dodanie parametrów reprezentujących kompetencje poszczególnych pracowników. Kluczowym wkładem technicznym jest zastosowanie zmiennych latentnych Polya-Gamma, które transformują funkcję wiarygodności logistycznej w postać warunkowo Gaussowską - to znacznie ułatwia optymalizację. Algorytm EM (Expectation-Maximization), który autorzy opracowali, redukuje problem do matrix sensing z teoretycznymi gwarancjami zbieżności. Eksperymentach na rzeczywistych i syntetycznych danych wykazały przewagę tej metody nad liniami bazowymi, co sugeruje, że może ona znacznie poprawić jakość danych treningowych do szkolenia systemów AI.