Naukowcy stworzyli ARMOR 2025 - benchmark specjalnie projektowany do testowania bezpieczeństwa dużych modeli językowych w scenariuszach militarnych i obronnych. To narzędzie wychodzi poza standardowe testy bezpieczeństwa, które zwykle skupiają się na kontekstach cywilnych, i stawiającymi modelom AI pytania dotyczące wojskowej taktyki, systemów uzbrojenia czy strategicznych operacji. Benchmarkowe zestawy testów zawierają zarówno pytania wprost o nielegalne działania, jak i bardziej wyrafinowane polecenia, które mogą obejść wbudowane w systemy zabezpieczenia. Projekt podkreśla rosnące znaczenie bezpiecznego wdrażania technologii AI w sektorze obronnym, gdzie błędy mogą mieć szersze konsekwencje geopolityczne.
Dotychczasowe standardy oceny bezpieczeństwa modeli AI były głównie dostosowane do zagrożeń w sferze cywilnej - od generowania treści extremistycznych po pomocnictwo w cyberattakach na infrastrukturę komercyjną. Scenariusze militarne stawiają jednak zupełnie inne wyzwania. Badane modele mogą działać jako zaawansowane asystenci dla wojskowych lub pracowników instytucji obronnych, a jednocześnie muszą być zabezpieczone przed niewłaściwym wykorzystaniem. ARMOR 2025 testuje, czy systemy takie jak GPT-4, Claude czy Gemini potrafią rozróżnić między legalnymi zapytaniami o wojskową naukę a poleceniami, które mogą wspomagać nielegalne działania zbrojne lub naruszać konwencje międzynarodowe.
Opracowanie tego benchmarku to odpowiedź na rzeczywisty problem - armie i agencje obronne na całym świecie coraz chętniej eksperymentują z generatywną sztuczną inteligencją. Bez solidnych narzędzi do oceny bezpieczeństwa takich systemów w kontekście militarnym ryzyko nadużycia rośnie. ARMOR 2025 ma być ścieżką do bardziej zaufanego wdrażania AI w sektorze obronnym, zanim nowoczesne modele staną się nieodłącznymi narzędziami w sztabach generalnych i centrach dowodzenia.