Naukowcy opublikowali AuditKIT, bibliotekę ewaluacji mającą zunifikować ocenę modeli języka i systemów agentowych poprzez jednolite przedstawienie wyników. Problem, który rozwiązuje, jest znaczący - dziś ocena tych systemów wymaga łączenia danych z wielu źródeł: wyników benchmarków, ocen dokonywanych przez sędziów, pomiarów wydajności w runtime'ie, analizy użycia narzędzi i jakości pobierania informacji. Każde ze źródeł wykorzystuje inne interfejsy, semantykę metryk i formaty śladów, co komplikuje bezpośrednie porównania i pozwala ukryć wady w przepływach pracy agentów.
AuditKIT rozwiązuje to za pomocą ustandaryzowanego repozytorium wyników, kontraktów metryk świadomych kierunku, odcisków konfiguracji i rozszerzalnych metryk z pluginowymi backendami. Dla systemów agentowych oferuje analitykę przełączaną na poziomie tur, oddzielenie wykonania równoległego od sekwencyjnego, oraz rozróżnienie zweryfikowanych wyników zadań od diagnostyki na poziomie trajektorii. Ważny szczegół: brakujące lub nieobserwowalne dowody są oznaczane jako niezoceniane, a nie jako porażka - co eliminuje fałszywe negatywy. Dla retrieval-augmented generation łączy metryki rankingi pobierania, ocenę ugruntowania i sprawdzenia deterministyczne.
Siedmioro studiów przypadku obejmujących porównanie modeli, runtime'y serwowania, pobieranie danych, wywoływanie narzędzi i interoperacyjność wykazuje, jak ekstrakcja odpowiedzi, zachowanie w runtime'ie i wybór metryki zmieniają wyniki ewaluacji. To ma znaczenie dla naukowców i inżynierów budujących bardziej wiarygodne benchmarki - standardyzacja oceny może ujawnić błędy zakrywane dotychczasowymi niespójnymi metodami.