Nowy przewodnik zawiera kompletną analizę zbioru danych ClawHub Security Signals, który pomaga zrozumieć, jak różne skanery bezpieczeństwa oceniają ryzyka związane z umiejętnościami AI. Autorzy ładują dane z konwersji Parquet z Hugging Face i szczegółowo analizują verdykty, wyniki skanów oraz etykiety poziomu zagrożenia.
Kluczowa część artykułu to porównanie działania trzech głównych podejść do bezpieczeństwa: VirusTotal, analiz statycznych i narzędzia SkillSpector. Naukowcy mierzą, jak bardzo te rozwiązania się pokrywają i gdzie się rozbiegają, używając metryk takich jak współczynniki Jaccarda i kappa Cohena. To pozwala zrozumieć, gdzie skanery zgadzają się co do zagrożeń, a gdzie mogą się sprzeczać.
Na koniec zespół łączy tekst z dokumentów SKILL.md z sygnałami ze skanów bezpieczeństwa, aby wytrenować model regresji logistycznej do przewidywania verdyktów ClawScan. To praktyczne podejście pokazuje, jak łączyć dane tekstowe z sygnałami bezpieczeństwa dla bardziej dokładnej klasyfikacji. Przewodnik jest ważny dla badaczy i deweloperów pracujących nad poprawą bezpieczeństwa ekosystemu AI.