Naukowcy z Google opublikowali szczegółową analizę wiarygodności modeli Gemini jako automatycznych sędziów oceniających rozmowy dwukierunkowe (full-duplex) agentów głosowych bezpośrednio z surowego sygnału stereo. Badanie obejmowało trzy modele z rodziny Gemini: 2.5 Flash, 3.5 Flash i 3.1 Pro, porównane z ocenami trzech przeszkolonych ludzi na 209 sesjach stereo obejmujących 152 pełne rozmowy agentów oraz 57 testów ze sztucznie wprowadzonymi błędami.
Wyniki wskazują na wysoką zgodność Gemini 2.5 Flash z oceną człowieka. Na 5 z 8 mieronych wymiarów jakości (takich jak naturalność, trafność odpowiedzi czy obsługa akcentów) różnica między korelacją Spearmana modelu a poziomem inter-ludzi wyniosła maksymalnie 0.07. Na 7 z 8 wymiarów przedziały ufności na poziomie 95 procent się pokrywały, co sugeruje praktyczną równoważność. Model zgadzał się ze średnią oceną trzech ludzi w przedziale jednego punktu skali na 60-92 procentach sesji dla 6 z 8 wymiarów. W testach wrażliwości model wykazał zdolność do wykrywania błędów porównywalną lub lepszą niż ludzie.
Ciekawe jest, że zdolność do rankingowania jakości przenosi się między modelami z rodziny Gemini - wersja 3.5 Flash osiągnęła zgodność prostą na wszystkich 8 wymiarach, choć 3.1 Pro oceniał kilka wymiarów zdecydowanie niżej niż ludzie. Naukowcy ostrzegają, że zmiana modelu wymaga ponownej walidacji kalibracyjnej zamiast założenia bezpośredniej przenaszalności ocen. To badanie ma znaczenie dla automatyzacji ewaluacji zaawansowanych systemów dialogowych, gdzie ręczne ocenianie jest czasochłonne i kosztowne.