Zespół badawczy zaprezentował GenAI Evaluation - system do automatycznej oceny chatbotów handlowych zdolny do przetwarzania milionów interakcji z konsumentami. Tradycyjne metryki oparte na dopasowaniu tekstu nie wystarczają do oceny jakości rozmów - konieczne jest mierzenie intencji użytkownika, wiarygodności informacji, przydatności odpowiedzi, jasności i tonu wypowiedzi.
Pipeline operuje na logach produkcyjnych z normalizacją danych, podziałem na fragmenty, asynchronicznym przetwarzaniem i ocenianiem przy użyciu LLM-ów z ograniczeniami schematycznymi. System obejmuje mechanizmy kontroli jakości takie jak ponowna ocena tylko rekordów niekompletnych lub błędnych, zablokowane schematy, wersjonowanie konfiguracji oraz śledzenie pochodzenia na poziomie jednotnych rekordów. Framework przetestowano na 12980 przykładach ręcznie etykietowanych przez czterech trenowanych anotatorów, obejmujących 14 intencji, 156 podintencji i 18 głównych domen.
Wyniki pokazują makro F1 0.93 oraz 89% zgodności z ocenami ludzkimi, szczególnie dla tłumaczeń. To podejście rozwiązuje krytyczne wyzwania wdrażania LLM-ów w produkcji - audytowalność, reproducibilność, znormalizowane ceny oraz niezawodność. Zamiast całkowicie uzależniać się od ekspertów do oceny milionów rozmów, system pozwala zespołom na skalę wdrażać i monitorować agentów konwersacyjnych z pełnym śledzeniem i kontrolą jakości.