Naukowcy z arXiv zbadali, czy modele Gemini można efektywnie wykorzystać jako automatycznych sędziów oceniających jakość pełnodupleksowych rozmów agentów AI. Testowali trzy wersje: Gemini 2.5 Flash, 3.5 Flash i 3.1 Pro, sprawdzając ich zdolność do oceny nagrań stereo bezpośrednio z surowego waveformu na 8 produkcyjnych wymiarach oceny.
Gemini 2.5 Flash wykazał konsekwentnie wysoką niezawodność. W porównaniu z trzema skalibrowanymi oceniającymi ludźmi na 209 sesjach rozmów, model uzyskał zgodność w zakresie korelacji Spearmana (rho) różniącą się od zgodności między ludźmi o co najwyżej 0.07 na 5 z 8 wymiarów. Na 6 z 8 wymiarów model zgadzał się ze średnią ocen trzech ludzi w zakresie jednego punktu na 60-92 procent sesji. Test na 57 klipach z celowo wstrzykniętymi defektami wykazał, że model jest równie czuły jak ludzie na 45 z 48 kombinacji defekt-wymiar, choć większość tych wyników to niedostatecznie potężne testy.
Wnikliwe jest jednak, że inne modele z rodziny Gemini wykazały różne wyniki. Gemini 3.5 Flash poprawił prostą zgodność na wszystkie 8 wymiarów, podczas gdy Gemini 3.1 Pro oceniał kilka wymiarów zdecydowanie niżej niż ludzie, mimo porównywalnej zdolności do rankingu. Badacze podkreślają, że zmiana modelu wymaga ponownej walidacji kalibracji, nie można automatycznie zakładać, że inne wersje zachowają się tak samo.