Naukowcy z arXiv opracowali wieloczynnikowy system oceny LLM-ów, który daleko wykracza poza tradycyjne单owynarowe metryki. Zamiast skupiać się wyłącznie na dokładności, framework integruje pięć kluczowych wymiarów: dokładność, zwięzłość, faktyczną spójność, czytelność i koherencję. Do tego dołączono graficzny interfejs użytkownika, który umożliwia wizualizację wyników w przystępny sposób.
Ewaluacja na zbiorze TruthfulQA ujawniła interesujące wzorce. Popularne LLM-y wykazują zdecydowanie silne strony w zadaniach wymagających rozumowania - najlepsze modele osiągały composite score na poziomie 0.6104. Jednak równocześnie badania pokazały powszechne ograniczenia przy radzeniu sobie ze złożonymi faktami, ambiwalentnością i skomplikowanymi scenariuszami, gdzie modele często się potykają.
To podejście stanowi zdecydowaną zmianę perspektywy w ocenie LLM-ów. Zamiast redukować ocenę do pojedynczej metryki, framework oferuje transparentny i elastyczny system, który lepiej oddaje rzeczywisty potencjał i braki modeli. Takie narzędzie ma kluczowe znaczenie dla inżynierii wiedzy i doskonalenia modeli. Choć obecnie skupia się na zadaniach anglojęzycznych, autorzy wskazują na perspektywę rozszerzenia systemu na dziedzinę wielojęzyczną.