SkillConsist to nowa metoda wykrywania niespójności w umiejętnościach agentów, które mogą maskować niebezpieczne zachowania lub prowadzić do niewłaściwego funkcjonowania systemów. Metoda rozwiązuje problem, że umiejętności mogą mieszać deklaracje z implementacją rozproszoną w tekście i kodzie, gdzie zwięzłe oświadczenie może odpowiadać wielu połączonym krokom implementacji.
System działa na zasadzie budowania dwóch oddzielnych grafów zachowań - jeden dla deklaracji umiejętności, drugi dla jej rzeczywistej implementacji. LLM separuje zawartość deklaracji i implementacji na rekordy zachowań, które uzupełnia analiza statyczna kodu. Następnie algorytm wyrównania dwukierunkowego przeszukuje jeden graf w poszukiwaniu podgrafu odpowiadającego zachowaniu z drugiego grafu i rozszerza go wzdłuż relacji zachowań, aż w pełni wyraża pierwotne zachowanie. Różnicowanie grafu identyfikuje konflikty między wyrównanymi podgrafami i zwraca wyniki detekcji.
Badacze stworzyli benchmark zawierający 633 umiejętności pobrane z 500 najpopularniejszych publicznych Skills z ClawHub oraz 133 pakietów Skill-Inject. Spośród nich 319 wykazało niespójności, a 314 było spójnych. To pozwala ocenić efektywność metody i pokazuje, że problem niespójności jest rzeczywisty i znaczący dla bezpieczeństwa agentów AI - obecne podejścia opierające się na predefined kategoriach lub zadeklarowanych zakresach mogą pominąć takie anomalie.