SkillEval to nowy framework ewaluacji LLM-ów, który przechodzi od tradycyjnych ocen agregujących wyniki w jedną liczbę do szczegółowej analizy zdolności modeli w konkretnych umiejętnościach. Zespół badawczy wykorzystał meta-kognitywne możliwości samych modeli języka do automatycznego odkrywania interpretowanych zdolności z pytań benchmarkowych, a następnie zastosował modele diagnostyczne pochodzące z psychometrii do oszacowania umiejętności każdego modelu w każdej dziedzinie.
Experymenty przeprowadzone na 3811 modelach LLM-ów ocenianych na 9523 zadaniach z pięciu benchmarków - MATH, BBH, GPQA, MuSR i IFEval - pokazują, że profile umiejętności generowane przez SkillEval są bardziej kalibrowane i informatywne niż tradycyjne podejście. Framework generuje zwięzłe, czytelne profile modeli, które znacznie dokładniej przewidują zachowanie modelu na nowych, niewidocznych wcześniej danych testowych.
Praktyczne zastosowania frameworku są imponujące. W systemach routingu LLM-ów - gdzie każde zapytanie kierowane jest do najbardziej odpowiedniego modelu - SkillEval umożliwił zmniejszenie kosztów obliczeniowych o ponad 60% przy jednoczesnej poprawie wydajności. Framework wspiera również Computerized Adaptive Testing, gdzie nowe, nieznane modele mogą być efektywnie oceniane przy użyciu już wytrenowanych modeli diagnostycznych. Profily umiejętności stanowią też cenne źródło wglądów do zrozumienia mocnych i słabych stron poszczególnych modeli.