System rankingu chatbotów Chatbot Arena wykorzystujący model Bradleya-Terry'ego systematycznie przeszacowuje różnice między bardzo podobnymi modelami AI, wynika z analizy 1,8 miliona głosów użytkowników.
Teoria wyboru przewiduje, że axiom Lucego - założenie leżące u podstaw używanego algorytmu - zawiedzie dla bliźniaczych opcji. Badacze potwierdzili to empirycznie: porównując różne warianty tego samego modelu, głosy były 1,37 raza bardziej decyzywne niż model matematyczny przewiduje. Efekt jest słabszy dla modeli z tej samej generacji (współczynnik 1,26) i tego samego laboratorium (1,12), ale wyraźnie widoczny przez cały czas. Podobieństwo w sposobie sformułowania i formatowania odpowiedzi obu modeli stanowi silny predyktor tego efektu.
Proponowana korekta z czterema do sześciu parametrami lepiej przewiduje wyniki głosów na danych testowych niż oryginały Bradley-Terry i niż modele z setkami parametrów. Większość poprawy wynika z lepszego modelowania remisów. Jednak gdy badacze zastosowali tę korekcję do nowych wydań modeli, zyski skoncentrowały się głównie na remisach, a rzeczywista kolejność na liście rankingowej ledwie się poruszyła.